更新日志#

版本 1.4.3#

• 支持 MAPL 算法，包括 MARLHF 和 MADPO (PR #72)。
• 支持集中式多智能体系统训练 (PR #72)。
• 改进文档。

版本 1.4.2#

• 支持更多比较器模型 (提交 e1b3d80)。
• 修复同构生成问题 (提交 11d89a9)。

版本 1.4.1#

• 支持使用比较器作为集中式协调器 (PR #69)。
• 允许部署 LLM 智能体、奖励模型和比较器在不同设备上 (提交 7cbb792)
• 允许将当前模型作为比较器在新设备上使用 (提交 d8d493a)。
• 优化 GPU 的内存使用，及时释放未使用的模型 (提交 d0c6376)。

版本 1.4.0#

• 添加在线 PbRL 方法 (PR #68)。
• 添加数据集漂移记录器。

版本 1.3.9#

• 添加离线 PbRL 方法，如 MADPO 和 MARLHF (PR #67)。

版本 1.3.8#

• 允许使用参考模型用于所有算法 (PR #65)。
• 统一不同 trainers 的记录器 (PR #66)。

版本 1.3.7#

• 移除算法中的冗余采样超参数。
• 允许与 GPU 联合训练，使用 MP (参见结果在 PR #62)。

版本 1.3.6#

• 修复异构模型加载的严重错误，并重构模型加载逻辑 (参见结果在 PR #60)。
• 完善文档。

版本 1.3.5#

• 添加超参数约束的单元测试。
• 清理遗留接口。

版本 1.3.4#

• 修复异构模型加载的错误，并重构加载逻辑。
• 在 MAGRPO 中启用 MBGD，以与 MAAC 和 IAC 保持一致。
• 移除冗余和遗留超参数 (例如，模型 kwargs, 修补超参数)。
• 清理多设备遗留代码，例如 drop_last 和 num_workers。
• 添加模型加载的单元测试，并将其与 CI 分开。
• 清理短函数。
• 整理文档并对参数进行对齐。

版本 1.3.3#

• 压缩 MAREINFORCETrainer 的派生，并将其移动到新文件夹。
• 统一不同 trainers 的接口。
• 移除冗余的补丁和包装。
• 整理 config YAML 文件中的变量。

版本 1.3.2#

• 修复 wandb 日志问题在 MAGRPOTrainer 中的问题。

版本 1.3.1#

• 允许在 MAGRPOTrainer、IACTrainer 和 MAACTrainer 中进行批量训练。
• 允许在 IACTrainer 和 MAACTrainer 中进行多轮训练。
• 将 x 轴从 data_step 更改为 env_step。

版本 1.3.0#

• 使用 TD 错误作为 critic 更新目标，在 IACTrainer 和 MAACTrainer 中。

版本 1.2.9#

• 添加 MAACTrainer (独立的集中式 critic); 现在 IACTrainer 和 MAACTrainer 都支持单轮训练。

版本 1.2.8#

• critic 在 IACTrainer 中现在估计 V 而不是 Q。

版本 1.2.7#

• 将 IPPOTrainer 更改为 IACTrainer。

版本 1.2.6#

• 包含 MAGRPO, MAREINFORCE, MARLOO, MAREMAX, 和 IPPO trainers 用于与 LLMs 结合的多智能体强化学习。
• 支持多轮训练，并具有自定义外部反馈机制。
• LLM 协作环境，用于各种任务。
• 全面的文档和示例，用于快速上手。