質問応答

多くのフレームワークが、LLM をベースとした、役割に応じたマルチエージェントシステム（PettingLLMs, Dr. MAS, MARTI）のトレーニングをサポートしています。多くの場合、これらは部分的に観測可能な確率的ゲーム（POSGs）として定義され、各エージェントは独自の報酬を持ちます。各エージェントまたは役割に対して手動で作成された報酬ルールを使用すると、トレーニング信号がより密になり、学習が容易になりますが、設計には労力がかかります。

協調 MARL 長年にわたり研究されており、通常は以下のように定義されます Dec-POMDP. ある Dec-POMDP, すべてのエージェントが1つの報酬を共有するため、最適な共同ポリシーは、理論上は協調においてグローバルに最適です。この定義は、エージェントが緩やかに分割された役割からより具体的なタスクを見つけることを可能にします（詳細は CoopHumanEval コーディングドメインを参照）。さらに、パラメータ共有アプローチとは異なり, CoMLRL 真に異なるシステムを最適化することを主にサポートしており、これは異種エージェントをより良く表し、マルチエージェント環境を直接反映します LLM エージェント LLMs 異なる能力を持つ.

はい. ユーザーは設定できます num_agents=1 単一エージェント用 RL トレーニング後、ガイドに従って トレーニング初期化 ただし, CoMLRL 単純なマルチエージェントのトレーニングを優先し、単一エージェント特有の最適化を省略します。単一エージェントのトレーニングの場合, LLaMA-Factory, trl, OpenRLHF, と verl がより適しています.

はい. CoMLRL サポート 複数ターン RL 学習後, そのため、環境との相互作用をこれらのパイプラインに合わせてカスタマイズできます.

自己対戦 (Spiral, SPADE) と自己改善 (MAFT) は、単一のエージェントで、trainer (num_agents=1) を使用して実装できます。このエージェントは、各ターンで自己対戦スタイルのプロンプトを調整します。たとえば、エージェントの役割を切り替えるか、以前の回答を修正するように指示することができます。

マルチエージェントによる再帰的自己改善 (RSI) より複雑: 各エージェントはそれぞれ独立して動作する trainer, そして、システムがこれらを調整 trainers. 各ターンにおいて、システムは 1 つまたは複数の trainers エージェントからの応答を収集し、各エージェントをトリガーする trainer’スケジュールに従って学習させること、例えばエージェント間の交互学習.

CoMLRLは、モデル全体（たとえば、actors、critics、および報酬モデル）を、parallel_training="mp"で単一の機械の異なるGPUsに配置できます。マルチプロセスによるデータ並列訓練や、単一モデルを複数のデバイスに分割する機能は提供しません。訓練並列化は、デバイス構成について説明しています。

はい. 「説明されている通りに」 学習対象, agents ロードされたモデルオブジェクトを受け入れるため、1つのロードされたモデルを各エージェントに渡すことができます。エージェントはそれらの重みを共有し、フォーマッタは異なる役割を割り当てることができます。各エージェントは独自の最適化状態を保持するため、重みと勾配の共有はメモリを節約しますが、最適化状態は共有されません.

推奨されません. 当社の広範な実験では、どちらも PEFT そのような方法がうまく機能しませんでした LoRA また、低精度での学習も効果的ではありませんでした. LoRA モデルを完全に調整することはできず、効果的な変更にはより大きな LoRA アダプターが必要になる可能性があり、これによりメモリ使用量が増加する可能性があります。 代わりに、類似した初期性能を持つモデルからエージェントを開始する場合、パラメータ共有を使用できます。 また、勾配チェックポイントを使用すると、活性メモリを削減できますが、これらのアプローチは広くテストされていません。 ユーザーはこれらのアプローチをテストして、結果を共有することを歓迎します。 CoMLRL 問題.