여러 LLM 와 PbRL

다중 에이전트 PbRL는 공동 응답 간의 선호도를 사용하여 협력하는 LLM 에이전트를 훈련합니다. CoMLRL는 작업 항목과에서 선호 데이터 세트를 구축하고 다음 두 알고리즘 중 하나를 사용하여 학습합니다: MARLHF는 공동 보상 모델을 맞추고, RL를 사용하여 정책을 훈련하고, MADPO는 선호도에서 직접 정책을 최적화합니다. MARLHFTrainer, MADPOTrainer, 그리고 반복적인 변형인 MARLHFIterTrainer 및 MADPOIterTrainer는 comlrl.trainers.preference에서 사용할 수 있습니다.

현재 모든 trainers 는 num_turns=1 과 일치하는 공동 응답 (joint_mode="aligned") 을 필요로 합니다. 반복적인 trainers 의 한 반복은 데이터 수집 및 훈련의 1회이며, 대화 턴이 아닙니다.

선호 데이터#

각 에이전트 \( i\in\mathcal{I}=\{1,\ldots,n\} \) 는 자체의 로컬 기록에서 \( a_{i,t}\sim\pi_{\theta_i}(\cdot\mid h_{i,t}) \) 를 샘플링하고, 응답은 공동 행동 \( \mathbf{a}_t=\{a_{1,t},\ldots,a_{n,t}\} \) 와 공동 기록 \( \mathbf{h}_t \) 를 형성합니다. 단일 턴 (\( H=1 \)) 에서, \( h_{i,0} \) 는 에이전트 \( i \) 의 프롬프트이고, \( \mathbf{a}_0 \) 는 공동 응답입니다.

사용자는 작업 항목을 제공하며, 선호 데이터가 아닙니다. trainers 는 공동 응답을 샘플링하고, 오라클 함수로 점수를 매기고, 점수를 선호 쌍으로 변환합니다.

오라클 함수#

오라클 함수는 각 공동 응답에 대해 하나의 공유된 값을 점수합니다. 기본적으로는 reward_func 작업 보상이며, 선택적으로 reward_processor 다음에 따라갈 수 있습니다. 또한, 학습 초기화에 설명된 규칙을 따르거나 LLM 보상 모델을 호출할 수 있습니다. 두 알고리즘은 공동 응답 중 승리한 것만 학습하므로, 점수 값은 단순히 쌍을 선택하는 데만 중요합니다. MARLHFIterTrainer에서, preference_scoring_reward="reward_model"는 새로운 비교에 대해 가장 최근에 적합한 보상 모델을 오라클로 사용하며, 해당 모델이 존재하지 않을 경우 작업 보상을 백업으로 사용합니다.

선호 기준#

각 작업 항목에 대해, 각 에이전트는 자신의 프롬프트에 대해 preference_num_candidates 응답을 샘플링하고, 동일한 후보 인덱스를 가진 응답들은 공동 응답을 형성합니다. 서로 다른 점수를 가진 두 개의 공동 응답 중, 더 높은 점수를 가진 응답이 선호됩니다: 이는 승리하는 응답 \( w \)이고, 다른 응답은 패배하는 응답 \( l \)입니다. 무승부는 제거됩니다. pair_selection 와 preference_pairs_per_sample 는 각 작업에 어떤 쌍을 유지할지 결정합니다. 반복적인 훈련에서, 각 비교는 현재 에이전트의 공동 응답과 동일한 후보 인덱스에 있는 비교기의 공동 응답 간에 이루어지며, 어느 쪽이든 승리할 수 있습니다.

데이터 형식#

쌍 \( (\mathbf{h}_H^{w},\mathbf{h}_H^{l}) \)는 하나의 작업의 두 개의 공동 기록을 포함합니다. 각 쌍은 다음 형식의 레코드로, 각 목록의 각 에이전트에 대한 항목이 하나씩 있습니다:

{
  "prompts": ["<agent 1 prompt>", "<agent 2 prompt>"],
  "winner_completions": ["<agent 1 response>", "<agent 2 response>"],
  "loser_completions": ["<agent 1 response>", "<agent 2 response>"],
  "winner_reward": 0.92,
  "loser_reward": 0.41,
  "candidate_reward_mean": 0.63,
  "raw_rewards": [0.92, 0.41],
  "target_raw_reward": 0.92,
  "comparator_raw_reward": 0.41
}

winner_reward 및 loser_reward는 두 개의 공동 응답의 오라클 점수를 나타내고, candidate_reward_mean는 작업에 대해 비교된 후보의 평균 점수를 나타냅니다. 마지막 세 필드는 반복적인 훈련에서 비롯됩니다: raw_rewards는 reward_processor 이전의 승자와 패자의 점수를 포함하고, target_raw_reward 및 comparator_raw_reward는 현재 에이전트의 샘플과 비교기의 샘플의 점수를 포함합니다. 반복적인 trainers는 각 라운드의 쌍을 iteration_0001.json, iteration_0002.json 등으로 preference_replay_dir 아래에서 씁니다. {"iteration": 1, "num_pairs": ..., "pairs": [...]}.

훈련 파이프라인#

LLM 기반의 협력 멀티 에이전트 시스템을 훈련하는 방법은 PbRL가 현재 에이전트로부터 선호 데이터를 수집하고, MARLHF 또는 MADPO를 사용하여 이를 학습하는 것을 반복합니다.

• 기본 trainers (MARLHFTrainer, MADPOTrainer)는 쌍을 한 번 수집한 다음, 훈련합니다. 작업이 묶이지 않은 쌍을 생성하지 않으면 훈련은 정책을 업데이트하지 않고 종료됩니다.
• 반복적 trainers (MARLHFIterTrainer, MADPOIterTrainer) 반복을 num_iterations 라운드. 라운드 \( \nu \) 현재 에이전트와 비교 비교기, 새로운 쌍을 저장 \( \mathcal{D}^{(\nu)} \), 재생 버퍼 학습 쌍을 선택 이 라운드와 이전 라운드에서, 그리고 학습 \( \mathcal{B}^{(\nu)} \) 업데이트를 실행. MADPO 각 라운드마다 num_train_epochs 새로 초기화된 보상 모델에 맞추고, 정책 학습을 실행. MARLHF 새로 초기화된 보상 모델에 맞추고, 정책 학습을 실행.

평가는 항상 현재 정책에서 샘플링하고 작업 보상(reward_func 및 reward_processor)으로 점수를 매깁니다. 학습된 보상 모델을 사용하지 않습니다.

비교기#

반복 훈련에서, 비교기는 각 비교의 다른 한쪽을 제공합니다. 현재 에이전트와 비교기는 동일한 작업을 수행하며, 오라클 함수에서 명확한 승자가 있는 동일 인덱스 비교는 쌍으로 구성됩니다.

comparator_policy는 비교기의 소스를 선택합니다:

• comparator_policy="current" (기본): 활성 actor 가중치, 별도의 난수 스트림으로 샘플링됩니다.

• comparator_policy="current_copy": 현재 actor 가중치, comparator_devices로 복사하여 actor 장치와 다른 경우 각 수집 단계에 대해.

• comparator_policy="model": comparator_model_name 또는 comparator_agents에서 가져온 명시적 모델.

• comparator_policy="history": comparator_history_k 반복에서 저장된 actor 체크포인트; 초기 정책은 하나가 존재하는 경우까지.

• comparator_policy="api": 원격 모델 엔드포인트.

history 소스는 정책 체크포인트를 자동으로 저장합니다. 두쪽은 서로 다른 수의 후보를 샘플링할 수 있습니다; 동일한 인덱스가 존재하는 경우에만 비교하며, pair_selection="comparator_reward"는 비교기가 승리한다고 가정하지 않습니다. 기본적으로, 비교기는 각 역할에 대해 하나의 응답을 생성합니다. comparator_generation_mode="centralized"를 사용하면, 하나의 비교기 모델이 모든 역할의 응답을 단일 공동 응답에 작성하여, 쌍이 구성되기 전에 역할 응답으로 파싱됩니다.

모델 소스는 모델 저장소 또는 로컬 체크포인트일 수 있으며, 학습 엔티티에서 설명된 대로

comparator_policy=model
comparator_model_name=/path/to/comparator-checkpoint
comparator_generation_mode=centralized
comparator_centralized_agent_index=0
comparator_devices=cuda:1

API 비교기#

comparator_policy="api"를 사용하면 비교기가 원격 모델을 쿼리합니다. comparator_api_format는 요청 형식을 선택합니다:

• comparator_api_format="generic" (기본): 요청에는 프롬프트, actor 인덱스, 작업 항목, 후보 개수, 및 생성 설정이 포함됩니다; 완료는 comparator_api_response_field에서 읽습니다.

• comparator_api_format="openai": 챗 컴플리션, DeepSeek 와 같은 호환 가능한 엔드포인트에서 사용되기도 함.

• comparator_api_format="anthropic": Anthropic 메시지 API (https://api.anthropic.com/v1/messages, ANTHROPIC_API_KEY).

• comparator_api_format="openai_responses" (별칭 responses 또는 codex): OpenAI 응답 API (https://api.openai.com/v1/responses, OPENAI_API_KEY).

Anthropic 및 Responses 형식에는 n 매개변수가 없으므로, 각 후보에 대해 하나의 요청만 전송합니다. 요청은 표준 중앙 집중식 또는 분산형 비교 프로ンプ트를 사용합니다.

comparator_policy=api
comparator_api_format=anthropic
comparator_api_url=https://api.anthropic.com/v1/messages
comparator_api_model=claude-sonnet-4-20250514
comparator_api_key_env=ANTHROPIC_API_KEY

재생 버퍼#

재생 버퍼는 각 라운드에서 훈련에 사용될 저장된 쌍을 선택합니다. 현재 라운드의 데이터 세트를 먼저 저장하여, 이전 라운드와 함께 사용할 수 있습니다. preference_replay_mode는 어떤 라운드가 사용할 수 있는지 설정합니다:

• preference_replay_mode="current" (기본): 현재 라운드의 모든 쌍, 역사적 샘플링 없이

• preference_replay_mode="nearest_k": 최신 preference_replay_k 비어 있지 않은 라운드 데이터 세트, 현재 데이터 세트 포함.

• preference_replay_mode="all_history": 현재 trainer 실행의 모든 비어 있지 않은 라운드 데이터 세트

• preference_replay_mode="lambda_decay": 동일한 역사, 최근 라운드에 가중치 부여

그림의 각 행은 모드가 사용할 수 있는 라운드 데이터 세트와 각 세트의 강도를 보여줍니다. 가장 최근의 라운드는 오른쪽에 있습니다.

nearest_k는 가장 최근의 라운드를 의미하며, 근접 이웃 검색이 아닙니다. nearest_k 및 all_history에서, 사용 가능한 데이터 세트는 크기에 관계없이 동일한 가중치를 가집니다. 역사적 모드는 저장된 모든 쌍을 훈련하는 대신, 이들을 샘플링합니다. 저장된 라운드 파일에서 재연된 쌍은 다시 토큰화됩니다. preference_replay_dir를 이전 실행으로 설정하는 것만으로는 해당 파일이 가져오지 않지만, 훈련 체크포인트는 재연 인덱스와 데이터를 복원합니다.

람다 감쇠#

나이가 많은 \( a=0 \) 데이터셋을 사용하여 \( K \) 및 preference_replay_lambda (\( \lambda \)) 데이터셋을 선택하는 가중치를 설정합니다:

\( \lambda=0 \)는 최신 데이터셋만 유지하며, 작은 값은 최근 라운드를 선호하고, \( \lambda=1 \)는 모든 데이터셋에 동일한 가중치를 부여합니다.

샘플링#

역사적 모드는 각 preference_replay_sample_size 샘플을 가중치에 따라 데이터셋에 할당한 다음, 각 데이터셋 내에서 쌍을 샘플링합니다. 할당된 수가 데이터셋 크기를 초과하지 않는 경우, 샘플링은 중복 없이 진행됩니다. 더 큰 수는 셔플된 복사본을 순환합니다. 결합된 샘플은 셔플됩니다. 기본 샘플 크기는 현재 라운드의 쌍 수이거나, 현재 라운드가 비어 있는 경우 가장 최근 비어 있지 않은 데이터셋의 크기입니다.

current는 preference_replay_sample_size 및 preference_replay_lambda를 거부하고 preference_replay_k만 None 또는 1로 허용합니다. 다음 구성은 모든 라운드에서 256개의 쌍을 샘플링하며, 최근 라운드로 가중치를 부여합니다:

from comlrl.trainers.preference import MADPOIterConfig

args = MADPOIterConfig(
    num_agents=2,
    preference_replay_mode="lambda_decay",
    preference_replay_lambda=0.8,
    preference_replay_sample_size=256,
)

MARLHFIterConfig는 동일한 옵션을 허용합니다. 가장 최근 라운드만 재생하려면, 사용자는 preference_replay_mode="nearest_k" 및 라운드 수를 preference_replay_k를 통해 설정할 수 있습니다.

MARLHF#

인간 피드백 기반 다중 에이전트 강화 학습 (MARLHF)은 선호 쌍에 대한 공동 보상 모델을 학습하고, 학습된 보상을 사용하여 RL를 사용하여 정책을 훈련합니다. 보상 모델은 팀의 전체 응답을 평가하므로, 별도의 actors는 공유된 보상에서 학습합니다.

보상 학습#

JointRewardModel 와 \( \widetilde{R}_{\psi}(\mathbf{h}_t,\mathbf{a}_t) \) 는 모든 에이전트의 프롬프트와 응답을 하나의 텍스트로 읽고, 인과적 모델 LM 와 backbone 의 마지막 은닉 상태를 최종 패딩되지 않은 상태 token 에 대해 스칼라 헤드를 적용합니다. 이는 다음 훈련 쌍 \( \mathcal{B} \) 에 대한 브래들리-테리 손실을 최소화합니다:

여기서 \( \sigma \) 는 시그모이드 함수입니다. 손실은 승자의 점수를 패자의 점수에 비해 높입니다. 이는 작업 보상으로 되돌아가지 않습니다. 학습 대상 은 보상 모델이 어떻게 로드되는지 설명합니다.

정책 학습#

보상 학습 후, \( \widetilde{R}_{\psi} \) 가 고정되어 작업 보상의 역할을 수행합니다. 정책은 각 작업에 대해 새로운 공동 응답을 샘플링하고, \( \widetilde{R}_{\psi} \) 는 기울기가 없는 방식으로 점수를 매기고, MARL 백엔드는 학습된 보상을 최대화하기 위해 각 에이전트의 정책을 업데이트합니다:

rl_algorithm 는 백엔드를 선택합니다:

• rl_algorithm="magrpo" (기본): MAGRPO, 그룹 평균 기반을 사용합니다.

• rl_algorithm="mareinforce": MAREINFORCE, 원시 보상을 사용합니다.

• rl_algorithm="marloo": MARLOO, leave-one-out 기반을 사용합니다.

• rl_algorithm="maremax": MAReMax, 그룹 최대 기반을 사용합니다.

• rl_algorithm="maac": MAAC, 중앙 집중식 critic 과 함께 사용 가능

• rl_algorithm="iac": IAC, actor 또는 critics 또는 연결된 value heads 과 함께 사용 가능.

다중 에이전트 REINFORCE 및 다중 에이전트 Actor-Critic는 이러한 업데이트를 설명하며, \( \widetilde{R}_{\psi}(\mathbf{h}_t,\mathbf{a}_t) \)가 \( r_t \)를 대체합니다. 선택적인 정지된 참조 KL 정규화(reference_kl_enabled, reference_kl_coef, reference_devices)는 정책 학습에만 적용됩니다: 각 에이전트의 샘플링된 KL 추정치, reference_kl_coef로 스케일링된 값은 보상 신호에서 뺴집니다.

reward_model_name 는 actors 가 모델 객체이지만 모델 식별자를 가지고 있지 않은 경우 필요합니다. MAAC 및 별도의 critic, IAC 또한 critic 의 명시적인 소스 또는 사용 가능한 critic 모델 식별자를 필요로 합니다.

MADPO#

Multi-Agent Direct Preference Optimization (MADPO)는 선호 쌍에서 정책을 직접 학습하며, 보상 모델 또는 RL 단계가 필요하지 않습니다. 손실은 모든 에이전트의 선호 margins를 결합하여, 각 정책이 팀의 결과에서 학습합니다.

각 에이전트의 margin는 승리 및 패배 응답의 로그 확률의 차이이며, 공동 margin는 이러한 합계를 에이전트별로 계산합니다:

MADPO는 최소화

\( \eta>0 \) 가 dpo_beta (기본값 0.1) 일 때, 작업 보상은 각 쌍을 순서대로만 평가합니다. 손실 함수는 정책의 로그 확률을 사용합니다. 에이전트 \( i \) 의 기울기는

가중치 \( \sigma(-\eta\,\Delta_{\boldsymbol{\theta}}) \) 는 팀의 공동 margin 에 따라 결정되며, 기울기는 에이전트 \( i \) 의 자체 margin 를 통해서만 흐릅니다. 각 배치에서 trainer 는 기울기 없이 모든 margins 를 한 번 계산한 다음, 각 에이전트에 자체 미분 가능한 margin 와 다른 에이전트의 분리된 margins 를 업데이트합니다.

목표는 참조를 사용하지 않습니다: 상속된 reference_kl_enabled, reference_kl_coef, 및 reference_devices 설정은 MADPO 손실에 참조 항을 추가하지 않습니다. 훈련 지표 turn_1/reward_mean 및 turn_1/expected_return 는 쌍이 수집될 때 기록된 후보 보상의 평균을 계산하므로, 업데이트된 정책을 반영하지 않습니다.

분산된 점수는 패딩을 제거한 마지막 완료 token 를 제외하므로, 각 에이전트의 margin 는 해당 token 의 로그 확률을 제외합니다. 중앙화된 점수는 전체 공동 완료를 다룹니다.