概要 on CoMLRL

インストール

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL は、PyPI、conda-forge、またはソースからインストールできます。Python 3.10 以降が必要です。また、デバイスに互換性のある PyTorch をインストールする必要があります。

サポート

Mon, 01 Jan 0001 00:00:00 +0000

サポート#

CoMLRL を使用中に発生した問題について、お手伝いさせていただきます。

問題の報告#

以下の手順で、ユーザーは問題を解決または報告できます。

ユーザーはまず、ドキュメントを参照し、検索機能 (Ctrl + K) を使用してください。

マルチエージェント REINFORCE

Mon, 01 Jan 0001 00:00:00 +0000

REINFORCE は、サンプリングされた報酬を使用してポリシーを直接最適化するポリシー勾配手法のクラスです。これらの手法は、シンプルさと効率性から、LLM の微調整によく使用されます。例としては、GRPO、Dr. GRPO、RLOO、ReMax、TreeRPO、および REINFORCE++ などがあります。 REINFORCE は、複数の LLM エージェントが各ターンで応答し、それらの共同応答に共有された報酬を与えるマルチエージェント設定に拡張できます。

記述

Mon, 01 Jan 0001 00:00:00 +0000

再学習の開始

Mon, 01 Jan 0001 00:00:00 +0000

この例では、2つの小さなエージェントを2つの epochs で学習し、その後、チェックポイントから同じ実行をさらに2つの epochs で継続します。両方の部分のログは1つの W&B 実行に記録されます。

長さ比学習

Mon, 01 Jan 0001 00:00:00 +0000

このチュートリアルは、長さ比報酬を用いた単純な二エージェント学習タスクを示しています。両のエージェントは同じプロンプトを受け取り、独立して生成します。2番目のエージェントは、最初のエージェントの応答を見ません。この報酬は、2～3倍の文字数を最初の出力に含めるように、2番目の出力を奨励します。ストーリーの品質や意味的な協調性を評価しません。

コーディング

Mon, 01 Jan 0001 00:00:00 +0000

マルチエージェント Actor-Critic

Mon, 01 Jan 0001 00:00:00 +0000

Actor-Critic (AC) メソッドは、広く使用されているポリシー勾配メソッドであり、critics を使用して学習をサポートします。 AC メソッドは、REINFORCE よりも低い分散と優れたサンプル効率を実現できますが、これには critic の慎重な設計と調整が必要です。マルチエージェント強化学習 (MARL) において、Actor-Critic メソッドには、マルチエージェント Actor-Critic (MAAC) と独立型 Actor-Critic (IAC) が含まれます。

学習対象

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL は LLM エージェントの学習をサポートし、LLM をベースとした critics または報酬モデルを使用した学習を容易にします。エージェントと critics は、Hugging Face またはローカルディレクトリからの同種または異種モデルとして設定できます。ユーザーは、同種設定の場合は Hugging Face モデル識別子を agent_model/critic_model を通じて指定し、異種設定の場合は agents/critics のリストを提供できます。学習済みの対象は、さらなる学習のために新しい trainer に保存およびロードできます。

貢献

Mon, 01 Jan 0001 00:00:00 +0000

貢献#

CoMLRL への貢献を歓迎します。このガイドでは、コードの変更とコードベースの保守について説明します。

開発ガイドライン#

貢献者は、上流のリポジトリをフォークできます。

次のコマンドは、フォークをクローンし、上流との同期を行います:

 git clone https://github.com/<your-username>/CoMLRL.git
 cd CoMLRL
 git remote add upstream https://github.com/OpenMLRL/CoMLRL.git
 git fetch upstream
 git checkout -b feature/<short-description> upstream/main
 git fetch upstream && git rebase upstream/main

貢献者は、新しい機能の実装、バグの修正、および必要に応じてドキュメントの更新を行うことができます。
変更は、レビューのために上流のリポジトリにプルリクエストとして送信できます。

複数ターンでのフィードバック

Mon, 01 Jan 0001 00:00:00 +0000

この例では、2つのエージェントがタスクに回答し、回答に対してフィードバックを受け、その後再度回答します。

設定#

このタスクでは、2番目のエージェントに、最初のエージェントの回答よりも2〜3倍長い回答を生成するように求めます。

コード補完

Mon, 01 Jan 0001 00:00:00 +0000

学習の初期化

Mon, 01 Jan 0001 00:00:00 +0000

学習は、入力形式と報酬を共有するタスクのセットから開始されます。フォーマッタは、各タスクをエージェントのプロンプトに変換し、報酬関数はエージェントの共同応答を評価します。

複数の LLM と PbRL

Mon, 01 Jan 0001 00:00:00 +0000

マルチエージェント PbRL は、共同応答間の選好に基づいて、協力する LLM エージェントを学習します。 CoMLRL は、タスクアイテムから選好データを構築し、以下のいずれかのアルゴリズムを使用して学習します: MARLHF は共同報酬モデルを適合させ、RL を使用してポリシーを学習し、MADPO は選好からポリシーを直接最適化します。 MARLHFTrainer、MADPOTrainer、およびそれらの反復的なバリエーション MARLHFIterTrainer および MADPOIterTrainer は、comlrl.trainers.preference から入手可能です。

変更履歴

Mon, 01 Jan 0001 00:00:00 +0000

変更履歴#

バージョン 1.4.3#

MAPL アルゴリズム、および MARLHF および MADPO をサポート (PR #72)。
集中型マルチエージェントシステムでのトレーニングをサポート (PR #72)。
ドキュメントを改善。

バージョン 1.4.2#

より多くの比較モデルをサポート (コミット e1b3d80)。
同種生成の問題を修正 (コミット 11d89a9)。

バージョン 1.4.1#

比較モデルを集中型コーディネーターとして使用できるようにする (PR #69)。
LLM エージェント、報酬モデル、および比較モデルを異なるデバイスにデプロイできるようにする (コミット 7cbb792)
新しいデバイスで現在のモデルを比較対象としてコピーすることを許可 (コミット d8d493a)。
未使用のモデルを迅速に解放することで、GPU のメモリ使用量を最適化 (コミット d0c6376)。

バージョン 1.4.0#

オンラインの PbRL メソッドを追加 (PR #68)。
データセットドリフトロガーを追加。

バージョン 1.3.9#

PbRL、MADPO、MARLHF などのオフライン手法を追加 (PR #67).

バージョン 1.3.8#

すべてのアルゴリズムで参照モデルを使用することを許可 (PR #65)。
異なる trainers 間でロガーを統一 (PR #66)。

バージョン 1.3.7#

アルゴリズムで冗長なサンプリングハイパーパラメータを削除。
GPU と MP を使用した複数回の学習を許可します (結果は PR #62 を参照)。

バージョン 1.3.6#

異種モデルの読み込みにおける重大なバグを修正し、モデル読み込みロジックを再構成 (詳細は PR #60 を参照)。
ドキュメントの整備。

バージョン 1.3.5#

ハイパーパラメータ制約のためのユニットテストを追加。
レガシーインターフェースの整理。

バージョン 1.3.4#

異種モデルの読み込みにおけるバグを修正し、読み込みロジックを再構成。
MBGD を MAGRPO で有効にし、MAAC と IAC との整合性を確保。
冗長でレガシーなハイパーパラメータ (例: モデルのキーワード引数、パッチングハイパーパラメータ) を削除。
drop_last および num_workers などの複数デバイスのレガシーコードを整理。
モデルの読み込みに関するユニットテストを追加し、CI から分離してバッジとして表示。
短い関数を整理。
ドキュメントを整理し、パラメータを揃える。

バージョン 1.3.3#

MAREINFORCETrainer の派生を圧縮し、新しいフォルダに移動。
異なる trainers 用のインターフェースを統一。
冗長なパッチとラッパーを削除。
config YAML ファイル内の変数を整理。

バージョン 1.3.2#

MAGRPOTrainer で wandb のログ記録の問題を修正。

バージョン 1.3.1#

MAGRPOTrainer、IACTrainer、および MAACTrainer でバッチ学習を可能に。
IACTrainer および MAACTrainer で複数ターン学習を許可します。
x 軸を data_step から env_step に変更します。

バージョン 1.3.0#

TD エラーを critic の更新ターゲットとして、IACTrainer および MAACTrainer で使用します。

バージョン 1.2.9#

MAACTrainer (別個の集中型 critic) を追加します; IACTrainer および MAACTrainer は、単ターン学習をサポートします。

バージョン 1.2.8#

IACTrainer の critic は、Q ではなく V を推定します。

バージョン 1.2.7#

IPPOTrainer を IACTrainer に変更します。

バージョン 1.2.6#

MAGRPO、MAREINFORCE、MARLOO、MAREMAX、および IPPO trainers を、LLMs を使用したマルチエージェント強化学習で使用します。
カスタム外部フィードバックメカニズムを用いた複数ターンでの学習をサポート。
さまざまなタスクのための LLM 連携環境。
導入のための包括的なドキュメントと例。

複数ターンインタラクション

Mon, 01 Jan 0001 00:00:00 +0000

多くの複雑な問題を解決するには、複数のターンが必要。LLM エージェントは、システム内の他のモデルやツールから有用なフィードバックを得るために、環境と相互作用する

旅行

Mon, 01 Jan 0001 00:00:00 +0000

ツール利用

Mon, 01 Jan 0001 00:00:00 +0000

並列学習のトレーニング

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL は、異なるモデルを異なる GPUs に配置できます。 parallel_training="mp" を使用する場合、各エージェントは agent_devices からの個別のデバイスで実行され、エージェントは同時に生成されます。 critics、報酬モデル、比較モデル、および参照モデルは、それぞれ独自のデバイス設定を使用します。デフォルトの "none" は、エージェントを 1 つのデバイスに保持します。両方のモードは 1 台のマシンで実行でき、ジョブスケジューラは必要ありません。

質問応答

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL と他のマルチ-LLM トレーニングフレームワークとの違いは何ですか？

多くのフレームワークが、LLM をベースとした、役割に応じたマルチエージェントシステム（PettingLLMs, Dr. MAS, MARTI）のトレーニングをサポートしています。多くの場合、これらは部分的に観測可能な確率的ゲーム（POSGs）として定義され、各エージェントは独自の報酬を持ちます。各エージェントまたは役割に対して手動で作成された報酬ルールを使用すると、トレーニング信号がより密になり、学習が容易になりますが、設計には労力がかかります。