概述 on CoMLRL

安装

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL 可以从 PyPI、conda-forge 或源代码安装，并支持 Python 3.10 或更高版本。用户还应安装与设备兼容的 PyTorch 构建。

从 PyPI 安装#

pip install comlrl
# Install PyTorch compatible with your device.

从 conda-forge 安装#

conda install -c conda-forge comlrl
# Install PyTorch compatible with your device.

从源代码安装#

用户还可以克隆仓库并以可编辑模式安装 CoMLRL 以访问最新功能或在本地进行开发：

多智能体 REINFORCE

Mon, 01 Jan 0001 00:00:00 +0000

REINFORCE 是一种策略梯度方法，它直接优化策略，使用样本回报。这些方法广泛用于 LLM 的微调，因为它们简单高效。例子包括 GRPO, Dr. GRPO, RLOO, ReMax, TreeRPO, 和 REINFORCE++. REINFORCE 可以扩展到多智能体设置，其中多个 LLM 智能体在每个回合中响应，并且它们的联合响应获得一个共享奖励。

恢复训练

Mon, 01 Jan 0001 00:00:00 +0000

此示例训练两个小型智能体，用于两个 epochs，然后从检查点继续相同的运行，用于两个 epochs。两个部分都记录到同一个 W&B 运行。

设置#

任务要求第二个智能体生成一个比第一个智能体响应 2 到 3 倍长的响应。

写作

Mon, 01 Jan 0001 00:00:00 +0000

长度比训练

Mon, 01 Jan 0001 00:00:00 +0000

本教程演示了一个简单的双智能体训练任务，使用长度比奖励。两个智能体都接收相同的提示并独立生成；第二个智能体看不到第一个智能体的响应。奖励鼓励第二个输出包含 2–3 倍第一个输出的字符数。它不评估故事质量或语义协作。

支持

Mon, 01 Jan 0001 00:00:00 +0000

支持#

我们很高兴为您解决在使用 CoMLRL 时遇到的问题。

报告问题#

以下步骤可帮助用户解决或报告问题：

用户可以首先查阅文档，包括搜索功能（Ctrl + K）。
搜索现有的 GitHub 问题可能会发现相同问题的报告。

编码

Mon, 01 Jan 0001 00:00:00 +0000

多轮反馈

Mon, 01 Jan 0001 00:00:00 +0000

在此示例中，两个智能体回答任务，接收对答案的反馈，然后再次回答。

设置#

任务要求第二个智能体写出的答案长度为第一个智能体的答案长度的 2 到 3 倍。

import math

from datasets import Dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from comlrl.trainers.reinforce import MAGRPOConfig, MAGRPOTrainer

model_name = "Qwen/Qwen2.5-0.5B"
tokenizer = AutoTokenizer.from_pretrained(model_name)
train_dataset = Dataset.from_dict({
 "prompt": [
 "Describe a city in the clouds:",
 "Invent a new holiday and explain it:",
 "Write a bedtime story for a dragon:",
 "Design a playground on Mars:",
 ]
})


def length_ratio_reward(completions1, completions2):
 rewards = []
 for first, second in zip(completions1, completions2):
 ratio = len(second) / max(len(first), 1)
 distance = 0.0 if 2 <= ratio <= 3 else min(abs(ratio - 2), abs(ratio - 3))
 rewards.append(math.exp(-distance))
 return rewards

轮次间反馈#

在第一轮之后，此函数为每个智能体编写新的提示。提示报告答案的长度。

多智能体 Actor-Critic

Mon, 01 Jan 0001 00:00:00 +0000

Actor-Critic (AC) 方法是广泛使用的策略梯度方法，使用 critics 来支持训练。 AC 方法可以实现比 REINFORCE 更低的方差和更好的样本效率，但这需要仔细设计和调整 critic，以确保稳定的训练。在多智能体强化学习 (MARL) 中，Actor-Critic 方法包括多智能体 Actor-Critic (MAAC) 和独立式 Actor-Critic (IAC)。

贡献

Mon, 01 Jan 0001 00:00:00 +0000

贡献#

对 CoMLRL 的贡献是受欢迎的。本指南涵盖代码更改和代码库维护。

开发指南#

贡献者可以对上游仓库进行分支。

以下命令克隆分支并将其与上游同步:

 git clone https://github.com/<your-username>/CoMLRL.git
 cd CoMLRL
 git remote add upstream https://github.com/OpenMLRL/CoMLRL.git
 git fetch upstream
 git checkout -b feature/<short-description> upstream/main
 git fetch upstream && git rebase upstream/main

贡献者可以实现新功能或修复错误，并根据需要更新文档。
更改可以提交到上游仓库，作为拉取请求进行审查。

训练实体

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL 支持训练 LLM 智能体，并使用基于 LLM 的 critics 或奖励模型进行训练。智能体和 critics 可以是来自 Hugging Face 或本地目录的同构或异构模型。用户可以通过 agent_model/critic_model，对于同构设置指定 Hugging Face 模型标识符，或者提供 agents/critics 列表，对于异构设置。训练好的实体可以保存并加载到新的 trainer 中，以便进行进一步训练。

代码补全

Mon, 01 Jan 0001 00:00:00 +0000

多个 LLM PbRL

Mon, 01 Jan 0001 00:00:00 +0000

多智能体 PbRL 训练协作的 LLM 智能体，基于它们之间的联合响应的偏好。 CoMLRL 从任务项中构建偏好数据，并使用以下两种算法之一进行学习：MARLHF 拟合一个联合奖励模型，然后用 RL 训练策略，而 MADPO 则直接从偏好中优化策略。 MARLHFTrainer, MADPOTrainer, 以及它们的迭代变体 MARLHFIterTrainer 和 MADPOIterTrainer 可从 comlrl.trainers.preference 获取。

更新日志

Mon, 01 Jan 0001 00:00:00 +0000

更新日志#

版本 1.4.3#

支持 MAPL 算法，包括 MARLHF 和 MADPO (PR #72)。
支持集中式多智能体系统训练 (PR #72)。
改进文档。

版本 1.4.2#

支持更多比较器模型 (提交 e1b3d80)。
修复同构生成问题 (提交 11d89a9)。

版本 1.4.1#

支持使用比较器作为集中式协调器 (PR #69)。
允许部署 LLM 智能体、奖励模型和比较器在不同设备上 (提交 7cbb792)
允许将当前模型作为比较器在新设备上使用 (提交 d8d493a)。
优化 GPU 的内存使用，及时释放未使用的模型 (提交 d0c6376)。

版本 1.4.0#

添加在线 PbRL 方法 (PR #68)。
添加数据集漂移记录器。

版本 1.3.9#

添加离线 PbRL 方法，如 MADPO 和 MARLHF (PR #67)。

版本 1.3.8#

允许使用参考模型用于所有算法 (PR #65)。
统一不同 trainers 的记录器 (PR #66)。

版本 1.3.7#

移除算法中的冗余采样超参数。
允许与 GPU 联合训练，使用 MP (参见结果在 PR #62)。

版本 1.3.6#

修复异构模型加载的严重错误，并重构模型加载逻辑 (参见结果在 PR #60)。
完善文档。

版本 1.3.5#

添加超参数约束的单元测试。
清理遗留接口。

版本 1.3.4#

修复异构模型加载的错误，并重构加载逻辑。
在 MAGRPO 中启用 MBGD，以与 MAAC 和 IAC 保持一致。
移除冗余和遗留超参数 (例如，模型 kwargs, 修补超参数)。
清理多设备遗留代码，例如 drop_last 和 num_workers。
添加模型加载的单元测试，并将其与 CI 分开。
清理短函数。
整理文档并对参数进行对齐。

版本 1.3.3#

压缩 MAREINFORCETrainer 的派生，并将其移动到新文件夹。
统一不同 trainers 的接口。
移除冗余的补丁和包装。
整理 config YAML 文件中的变量。

版本 1.3.2#

修复 wandb 日志问题在 MAGRPOTrainer 中的问题。

版本 1.3.1#

允许在 MAGRPOTrainer、IACTrainer 和 MAACTrainer 中进行批量训练。
允许在 IACTrainer 和 MAACTrainer 中进行多轮训练。
将 x 轴从 data_step 更改为 env_step。

版本 1.3.0#

使用 TD 错误作为 critic 更新目标，在 IACTrainer 和 MAACTrainer 中。

版本 1.2.9#

添加 MAACTrainer (独立的集中式 critic); 现在 IACTrainer 和 MAACTrainer 都支持单轮训练。

版本 1.2.8#

critic 在 IACTrainer 中现在估计 V 而不是 Q。

版本 1.2.7#

将 IPPOTrainer 更改为 IACTrainer。

版本 1.2.6#

包含 MAGRPO, MAREINFORCE, MARLOO, MAREMAX, 和 IPPO trainers 用于与 LLMs 结合的多智能体强化学习。
支持多轮训练，并具有自定义外部反馈机制。
LLM 协作环境，用于各种任务。
全面的文档和示例，用于快速上手。

训练初始化

Mon, 01 Jan 0001 00:00:00 +0000

训练从任务集开始，任务集是一类共享输入格式和奖励的任务。格式器将每个任务转换为智能体提示，奖励函数对智能体的联合响应进行评分。

任务集#

任务集是 Hugging Face、Dataset 或 IterableDataset 的行，每行是一个字典，代表任务项。默认格式器读取 prompt 字段；其他字段可以包含目标、标签、测试用例或其他奖励函数所需的其他信息。Trainers 将原始任务项通过 batch_items 传递给奖励函数。

多轮交互

Mon, 01 Jan 0001 00:00:00 +0000

许多复杂问题需要多轮才能解决。 LLM 智能体与环境交互以从系统中其他模型或工具中获得有用的反馈。

多轮 MAGRPO#

多轮 MAGRPO 构建一个 rollout 树，其分支代表不同的联合响应 (TreeRPO)。

联合 rollout 树联合观察和行动分支到独立的 rollouts。

每个 episode 从数据集中采样一个任务，从而提供所有智能体的初始观察和历史记录 $\mathbf{o}_0=\{o_{1, 0}, \cdots, o_{n, 0}\}$ 和 $\mathbf{h}_0=\{h_{1, 0}, \cdots, h_{n, 0}\}$ 。在每个回合中，智能体根据当前观察-动作历史 $\mathbf{h}_t$ 生成一组联合响应 $\mathbf{a}^{\mathcal{G}}_t\gets\boldsymbol{\pi}^{\mathcal{G}}(\cdot|\mathbf{h}_t)$ 。每个响应开始一个不同的 rollout。智能体根据累积的历史和当前联合动作 $\mathbf{a}^{(g)}_{t} \in \mathbf{a}^{\mathcal{G}}_{t}$ ，为每个响应获得联合奖励 $r^{(g)}_{t}$ 。 每个 rollout 独立进化，随着环境的变化产生新的联合观察 $\mathbf{o}^{\mathcal{G}}_{t+1}$ ，并在下一个回合中分支到进一步的 rollouts $$ t+1 $$ 。这个过程持续到终端回合 $$ H $$ 。

旅行

Mon, 01 Jan 0001 00:00:00 +0000

并行训练

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL 可以将不同的模型放置在不同的 GPUs 上。使用 parallel_training="mp" 时，每个智能体在 agent_devices 上的设备上运行，并且智能体同时生成； critics、奖励模型、比较器和参考模型各自使用自己的设备设置。默认设置 "none" 将智能体放在一个设备上。两种模式都在一台机器上运行，不需要作业调度。

工具使用

Mon, 01 Jan 0001 00:00:00 +0000

问答

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL 与其他多 LLM 训练框架的区别是什么？

许多框架支持基于 LLM 的多智能体系统，其中每个智能体都有自己的奖励 (例如：PettingLLMs, Dr. MAS, MARTI)。这些框架通常被表述为部分可观测的随机游戏 (例如：POSGs)，其中每个智能体都有自己的奖励。手工设计的奖励规则可以使训练信号更加密集，但设计起来比较困难。