개요 on CoMLRL

길이-비율 훈련

Mon, 01 Jan 0001 00:00:00 +0000

이 튜토리얼은 길이-비율 보상을 사용하는 간단한 두 에이전트 훈련 작업을 보여줍니다. 두 에이전트는 동일한 프롬프트를 받고 독립적으로 생성합니다; 두 번째 에이전트는 첫 번째 에이전트의 응답을 보지 않습니다. 이 보상은 두 번째 출력이 첫 번째 출력보다 2–3배 더 많은 문자를 포함하도록 장려합니다. 이는 스토리 품질이나 의미론적 협업을 평가하지 않습니다.

다중 에이전트 REINFORCE

Mon, 01 Jan 0001 00:00:00 +0000

REINFORCE는 샘플된 보상을 직접 사용하여 정책을 최적화하는 정책 경사 방법의 한 종류입니다. 이 방법들은 LLM 미세 조정에 널리 사용되며, 그 이유는 단순성과 효율성 때문입니다. 예시로는 GRPO, Dr. GRPO, RLOO, ReMax, TreeRPO, 및 REINFORCE++ 등이 있습니다. REINFORCE는 다중 에이전트 설정으로 확장할 수 있으며, 여기서 여러 LLM 에이전트가 각 턴에서 응답하고, 그들의 공동 응답은 공유된 보상을 받습니다.

설치

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL 는 PyPI, conda-forge, 또는 소스에서 설치할 수 있으며 Python 3.10 또는 이후 버전을 지원합니다. 사용자는 또한 자신의 장치와 호환되는 PyTorch 빌드를 설치해야 합니다.

PyPI 에서 설치#

pip install comlrl
# Install PyTorch compatible with your device.

conda-forge 에서 설치#

conda install -c conda-forge comlrl
# Install PyTorch compatible with your device.

소스에서 설치#

사용자는 또한 저장소를 복제하고 CoMLRL 를 편집 모드로 설치하여 최신 기능을 사용하거나 로컬에서 개발할 수도 있습니다:

작성

Mon, 01 Jan 0001 00:00:00 +0000

재학습 시작

Mon, 01 Jan 0001 00:00:00 +0000

이 예제는 두 개의 작은 에이전트를 epochs에 대해 훈련한 다음, 체크포인트에서 동일한 실행을 계속 진행하여 두 개의 epochs를 훈련합니다. 두 부분 모두 하나의 W&B 실행에 기록됩니다.

지원

Mon, 01 Jan 0001 00:00:00 +0000

지원#

CoMLRL 를 사용하는 동안 발생하는 문제에 대해 도움을 드릴 수 있습니다.

문제 보고#

다음 단계는 사용자가 문제를 해결하거나 보고하는 데 도움이 될 수 있습니다:

사용자는 먼저 문서, 특히 검색 기능 (Ctrl + K)을 참조할 수 있습니다.

기여

Mon, 01 Jan 0001 00:00:00 +0000

기여#

CoMLRL 에 대한 기여가 환영됩니다. 이 가이드는 코드 변경 및 코드베이스 유지 관리에 대한 내용을 다룹니다.

개발 지침#

기여자는 업스트림 저장소를 포크할 수 있습니다.

다음 명령은 포크를 복제하고 업스트림과 동기화합니다:

 git clone https://github.com/<your-username>/CoMLRL.git
 cd CoMLRL
 git remote add upstream https://github.com/OpenMLRL/CoMLRL.git
 git fetch upstream
 git checkout -b feature/<short-description> upstream/main
 git fetch upstream && git rebase upstream/main

기여자는 필요한 경우 새로운 기능을 구현하거나 버그를 수정하고 문서를 업데이트할 수 있습니다.
변경 사항은 검토를 위해 업스트림 저장소로 풀 요청으로 제출할 수 있습니다.

다중 에이전트 Actor-Critic

Mon, 01 Jan 0001 00:00:00 +0000

Actor-Critic (AC) 방법은 널리 사용되는 정책 경사 방법으로, critics을 사용하여 훈련을 지원합니다. AC 방법은 REINFORCE보다 낮은 분산을 얻고 샘플 효율성을 개선할 수 있지만, 이를 위해서는 안정적인 훈련을 보장하기 위해 critic을 신중하게 설계하고 조정해야 합니다. 다중 에이전트 강화 학습 (MARL)에서, Actor-Critic 방법에는 다중 에이전트 Actor-Critic (MAAC) 및 독립 에이전트 Actor-Critic (IAC)가 포함됩니다.

다중 턴 피드백

Mon, 01 Jan 0001 00:00:00 +0000

이 예제에서, 두 에이전트는 작업을 수행하고, 답변에 대한 피드백을 받고, 다시 답변합니다.

설정#

작업은 두 번째 에이전트에게 첫 번째 에이전트의 답변보다 2에서 3배 더 긴 답변을 작성하도록 요청합니다.

코딩

Mon, 01 Jan 0001 00:00:00 +0000

학습 대상

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL 는 LLM 에이전트 훈련을 지원하며, LLM 기반의 critics 또는 보상 모델을 사용하여 훈련을 용이하게 합니다. 에이전트 및 critics 는 Hugging Face 또는 로컬 디렉토리에서 가져온 동종 또는 이종 모델일 수 있습니다. 사용자는 Hugging Face 모델 식별자 를 agent_model/critic_model 를 통해 동종 설정의 경우, 또는 agents/critics 목록을 통해 이종 설정의 경우 지정할 수 있습니다. 훈련된 대상은 추가 훈련을 위해 새로운 trainer 로 저장하고 로드할 수 있습니다.

변경 로그

Mon, 01 Jan 0001 00:00:00 +0000

변경 로그#

버전 1.4.3#

MAPL 알고리즘을 지원하며, 여기에는 MARLHF 및 MADPO도 포함됩니다 (PR #72).
중앙 집중형 다중 에이전트 시스템 훈련을 지원합니다 (PR #72).
문서를 개선합니다.

버전 1.4.2#

더 많은 비교 모델을 지원합니다 (커밋 e1b3d80).
동종 생성 문제를 수정합니다 (커밋 11d89a9).

버전 1.4.1#

비교기를 중앙 집중형 조정기로 사용하는 것을 지원합니다 (PR #69).
LLM 에이전트, 보상 모델, 비교기를 서로 다른 장치에 배포할 수 있도록 합니다 (커밋 7cbb792).
새로운 장치에서 현재 모델을 비교 도구로 복사하는 것을 허용 (커밋 d8d493a).
GPU 메모리 사용량을 최적화하여 사용하지 않는 모델을 즉시 해제 (커밋 d0c6376).

버전 1.4.0#

온라인 PbRL 방법을 추가 (PR #68).
데이터셋 드리프트 로거 추가.

버전 1.3.9#

PbRL 과 MADPO, MARLHF 와 같은 오프라인 방법, PR #67 을 추가합니다.

버전 1.3.8#

모든 알고리즘에 참조 모델을 사용하도록 허용 (PR #65).
trainers 간에 로거를 통일 (PR #66).

버전 1.3.7#

알고리즘에서 중복된 샘플링 하이퍼파라미터를 제거.
GPU 와 함께 다중 MP 훈련을 허용합니다 (결과를 PR #62 에서 확인).

버전 1.3.6#

다중 모델 로딩의 중요한 버그를 수정하고 모델 로딩 로직을 재구성합니다 (결과를 PR #60 에서 확인).
문서를 다듬습니다.

버전 1.3.5#

하이퍼파라미터 제약 조건에 대한 단위 테스트를 추가합니다.
레거시 인터페이스를 정리합니다.

버전 1.3.4#

다중 모델 로딩의 버그를 수정하고 로딩 로직을 재구성합니다.
MBGD 를 MAGRPO 에 활성화하여 MAAC 및 IAC 과 일치하도록 합니다.
중복되고 레거시 하이퍼파라미터를 제거합니다 (예: 모델 kwargs, 패칭 하이퍼파라미터).
다중 장치 레거시 코드를 정리합니다 (예: drop_last 및 num_workers).
모델 로딩에 대한 단위 테스트를 추가하고 CI 를 배지로 분리.
짧은 함수를 정리합니다.
문서를 재정리하고 매개변수를 일치시킵니다.

버전 1.3.3#

MAREINFORCETrainer 의 파생을 압축하고 새로운 폴더로 이동합니다.
trainers 에 대한 인터페이스를 통일합니다.
중복된 패치와 래퍼를 제거합니다.
config YAML 파일의 변수를 재정리합니다.

버전 1.3.2#

MAGRPOTrainer 에서 wandb 로깅 문제를 수정합니다.

버전 1.3.1#

MAGRPOTrainer, IACTrainer, 및 MAACTrainer 에서 배치 훈련을 허용합니다.
IACTrainer 및 MAACTrainer에서 다중 턴 훈련을 허용합니다.
x축을 data_step에서 env_step로 변경합니다.

버전 1.3.0#

TD 오류를 critic 업데이트 대상으로 IACTrainer 및 MAACTrainer에서 사용합니다.

버전 1.2.9#

MAACTrainer (별도의 중앙 집중식 critic)를 추가; 이제 IACTrainer 및 MAACTrainer 모두 단 턴 훈련을 지원합니다.

버전 1.2.8#

IACTrainer의 critic는 이제 Q가 아닌 V를 추정합니다.

버전 1.2.7#

IPPOTrainer를 IACTrainer로 변경합니다.

버전 1.2.6#

MAGRPO, MAREINFORCE, MARLOO, MAREMAX, 및 IPPO trainers를 사용하여 LLMs와 함께 다중 에이전트 강화 학습을 포함합니다.
사용자 지정 외부 피드백 메커니즘을 사용하는 다중 턴 훈련 지원.
다양한 작업에 대한 LLM 협업 환경.
시작하기 위한 포괄적인 문서 및 예제.

여러 LLM 와 PbRL

Mon, 01 Jan 0001 00:00:00 +0000

다중 에이전트 PbRL는 공동 응답 간의 선호도를 사용하여 협력하는 LLM 에이전트를 훈련합니다. CoMLRL는 작업 항목과에서 선호 데이터 세트를 구축하고 다음 두 알고리즘 중 하나를 사용하여 학습합니다: MARLHF는 공동 보상 모델을 맞추고, RL를 사용하여 정책을 훈련하고, MADPO는 선호도에서 직접 정책을 최적화합니다. MARLHFTrainer, MADPOTrainer, 그리고 반복적인 변형인 MARLHFIterTrainer 및 MADPOIterTrainer는 comlrl.trainers.preference에서 사용할 수 있습니다.

코드 완성

Mon, 01 Jan 0001 00:00:00 +0000

학습 초기화

Mon, 01 Jan 0001 00:00:00 +0000

학습은 작업 세트에서 초기화됩니다. 작업 세트는 입력 형식과 보상을 공유하는 작업의 클래스입니다. 포맷터는 각 작업을 에이전트 프롬프트로 변환하고, 보상 함수는 에이전트의 공동 응답을 평가합니다.

다중 턴 상호 작용

Mon, 01 Jan 0001 00:00:00 +0000

많은 복잡한 문제는 해결하기 위해 여러 턴이 필요합니다. LLM 에이전트는 시스템 내의 다른 모델 또는 도구로부터 유용한 피드백을 얻기 위해 환경과 상호 작용합니다.

다중 턴 MAGRPO#

다중 턴 MAGRPO는 rollout 트리를 생성하며, 이 트리의 가지는 서로 다른 공동 응답을 나타냅니다 (TreeRPO).

여행

Mon, 01 Jan 0001 00:00:00 +0000

도구 사용

Mon, 01 Jan 0001 00:00:00 +0000

병렬 훈련

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL 는 다른 모델을 GPUs 에 배치할 수 있습니다. parallel_training="mp" 를 사용하면 각 에이전트는 agent_devices 의 자체 장치에서 실행되며, 에이전트들은 동시에 생성됩니다; critics, 보상 모델, 비교기, 참조 모델은 자체 장치 설정을 사용합니다. 기본 설정인 "none" 는 에이전트를 하나의 장치에 유지합니다. 두 가지 모드는 단일 머신에서 실행되며 작업 스케줄러가 필요하지 않습니다.

질문과 답변

Mon, 01 Jan 0001 00:00:00 +0000

CoMLRL 과 다른 다중 LLM 훈련 프레임워크의 차이점은 무엇인가?

많은 프레임워크가 역할별 LLM 기반의 다중 에이전트 시스템 훈련을 지원합니다 (PettingLLMs, Dr. MAS, MARTI). 대부분은 부분적으로 관측 가능한 확률 게임(POSGs)으로 구상되며, 각 에이전트는 자체 보상을 갖습니다. 각 에이전트 또는 역할에 대한 수동으로 설계된 보상 규칙은 훈련 신호를 더 밀집하게 만들지만, 설계하는 데는 많은 노력이 필요합니다.