変更履歴#

バージョン 1.4.3#

• MAPL アルゴリズム、および MARLHF および MADPO をサポート (PR #72)。
• 集中型マルチエージェントシステムでのトレーニングをサポート (PR #72)。
• ドキュメントを改善。

バージョン 1.4.2#

• より多くの比較モデルをサポート (コミット e1b3d80)。
• 同種生成の問題を修正 (コミット 11d89a9)。

バージョン 1.4.1#

• 比較モデルを集中型コーディネーターとして使用できるようにする (PR #69)。
• LLM エージェント、報酬モデル、および比較モデルを異なるデバイスにデプロイできるようにする (コミット 7cbb792)
• 新しいデバイスで現在のモデルを比較対象としてコピーすることを許可 (コミット d8d493a)。
• 未使用のモデルを迅速に解放することで、GPU のメモリ使用量を最適化 (コミット d0c6376)。

バージョン 1.4.0#

• オンラインの PbRL メソッドを追加 (PR #68)。
• データセットドリフトロガーを追加。

バージョン 1.3.9#

• PbRL、MADPO、MARLHF などのオフライン手法を追加 (PR #67).

バージョン 1.3.8#

• すべてのアルゴリズムで参照モデルを使用することを許可 (PR #65)。
• 異なる trainers 間でロガーを統一 (PR #66)。

バージョン 1.3.7#

• アルゴリズムで冗長なサンプリングハイパーパラメータを削除。
• GPU と MP を使用した複数回の学習を許可します (結果は PR #62 を参照)。

バージョン 1.3.6#

• 異種モデルの読み込みにおける重大なバグを修正し、モデル読み込みロジックを再構成 (詳細は PR #60 を参照)。
• ドキュメントの整備。

バージョン 1.3.5#

• ハイパーパラメータ制約のためのユニットテストを追加。
• レガシーインターフェースの整理。

バージョン 1.3.4#

• 異種モデルの読み込みにおけるバグを修正し、読み込みロジックを再構成。
• MBGD を MAGRPO で有効にし、MAAC と IAC との整合性を確保。
• 冗長でレガシーなハイパーパラメータ (例: モデルのキーワード引数、パッチングハイパーパラメータ) を削除。
• drop_last および num_workers などの複数デバイスのレガシーコードを整理。
• モデルの読み込みに関するユニットテストを追加し、CI から分離してバッジとして表示。
• 短い関数を整理。
• ドキュメントを整理し、パラメータを揃える。

バージョン 1.3.3#

• MAREINFORCETrainer の派生を圧縮し、新しいフォルダに移動。
• 異なる trainers 用のインターフェースを統一。
• 冗長なパッチとラッパーを削除。
• config YAML ファイル内の変数を整理。

バージョン 1.3.2#

• MAGRPOTrainer で wandb のログ記録の問題を修正。

バージョン 1.3.1#

• MAGRPOTrainer、IACTrainer、および MAACTrainer でバッチ学習を可能に。
• IACTrainer および MAACTrainer で複数ターン学習を許可します。
• x 軸を data_step から env_step に変更します。

バージョン 1.3.0#

• TD エラーを critic の更新ターゲットとして、IACTrainer および MAACTrainer で使用します。

バージョン 1.2.9#

• MAACTrainer (別個の集中型 critic) を追加します; IACTrainer および MAACTrainer は、単ターン学習をサポートします。

バージョン 1.2.8#

• IACTrainer の critic は、Q ではなく V を推定します。

バージョン 1.2.7#

• IPPOTrainer を IACTrainer に変更します。

バージョン 1.2.6#

• MAGRPO、MAREINFORCE、MARLOO、MAREMAX、および IPPO trainers を、LLMs を使用したマルチエージェント強化学習で使用します。
• カスタム外部フィードバックメカニズムを用いた複数ターンでの学習をサポート。
• さまざまなタスクのための LLM 連携環境。
• 導入のための包括的なドキュメントと例。