欢迎使用 CoMLRL 文档
Cooperative Multi-LLM Reinforcement Learning (CoMLRL) 是一个开源库，用于使用多智能体强化学习 (MARL) 训练多个 LLMs 以协作。它提供了各种 MARL 算法的实现，用于 LLM 协作，并支持不同的环境和基准。
关于#
“什么是 LLM 协作？"
LLM 协作涉及智能体协同解决多智能体系统任务。每个智能体接收一个任务提示，并根据其指令同步生成响应。智能体的响应共同形成一个解决方案。用户和系统可以验证解决方案并提供额外的要求或建议。这些交互构成环境的一部分，其状态可能根据智能体的输出而变化。状态更新包含在后续回合的提示中，直到任务完成或回合限制达到。
“我们应该使用 LLM 和 MARL 对多系统进行微调吗？"
许多研究使用基于 LLM 的多智能体系统来通过智能体交互解决任务。 多数模型是单独预训练，而不进行协调优化，这可能会限制性能。 有效的提示设计仍然具有挑战性。 合作 MARL 方法优化智能体的团队，使其朝着共同的目标优化。 这些已建立的方法为训练基于 LLM 的多智能体系统提供了一个自然的基石。
“去中心化推理的优势是什么？"
在分布式执行期间，智能体使用自己的提示和策略。 独立的生成可以在设备配置允许的情况下并发运行，支持特定角色的模型和模块化任务分解。 延迟、内存使用和任务质量取决于模型大小、提示长度、通信和设备。 分布式执行本身并不能保证速度提升或保留集中式模型所能访问的所有信息。
功能#
- 多智能体学习方法用于 LLM 协作：
- 多智能体 REINFORCE: Critic 免费的策略梯度方法，包括 MAREINFORCE, MAGRPO, MARLOO, 和 MAReMax。
- 与
joint_mode='aligned'对齐的联合响应。 - 笛卡尔积联合响应与
joint_mode='cross'。
- 与
- 多智能体 Actor-Critic: Actor-Critic 方法，包括 IAC 和 MAAC。
- 独立的 actor-critic (在 LLM backbone 上单独运行的 critic 或 value head)。
- 在联合提示上进行集中式 critic，与单独的 actors。
- 多智能体 PbRL: MADPO, MARLHF, 以及它们的迭代变体。
- 直接联合偏好优化或学习的联合奖励，然后与 RL。
- 分布式 actors 或一个具有角色意识的联合响应的集中式 actor。
- 多智能体 REINFORCE: Critic 免费的策略梯度方法，包括 MAREINFORCE, MAGRPO, MARLOO, 和 MAReMax。
- 模拟真实世界任务的环境，用于 LLM 协作的训练和评估：