CoMLRL 설명서에 오신 것을 환영합니다
Cooperative Multi-LLM Reinforcement Learning (CoMLRL)는 Multi-Agent 강화 학습 (MARL)을 사용하여 여러 LLMs이 협업하는 데 사용되는 오픈 소스 라이브러리입니다. 이는 LLM 협업에 대한 다양한 MARL 알고리즘의 구현을 제공하며, 다양한 환경 및 벤치마크를 지원합니다.
정보#
“Multi-LLM 협업이란 무엇인가?"
LLM 협업은 에이전트가 다중 에이전트 시스템에서 작업을 해결하기 위해 함께 작동하는 것을 포함합니다. 각 에이전트는 작업 프롬프트를 받고, 지침에 따라 동기적으로 응답을 생성합니다. 에이전트의 응답은 공동으로 해결책을 형성합니다. 사용자와 시스템은 해결책을 검증하고 추가 요구 사항 또는 제안을 제공할 수 있습니다. 이러한 상호 작용은 환경의 일부를 형성하며, 상태는 에이전트의 출력에 따라 변경될 수 있습니다. 상태 업데이트는 작업이 완료되거나 턴 제한에 도달할 때까지 후속 턴에 대한 프롬프트에 포함됩니다.
“Multi-LLM 시스템을 MARL로 미세 조정해야 하는 이유는 무엇인가?"
많은 연구에서 에이전트 상호 작용을 통해 작업을 해결하기 위해 LLM 기반의 다중 에이전트 시스템을 사용합니다. 대부분의 모델은 최적화를 위해 별도로 사전 훈련되지만, 협업에 대한 최적화가 이루어지지 않아 성능이 제한될 수 있습니다. 효과적인 프롬프트 설계 또한 어려운 문제입니다. 협업 MARL 방법은 에이전트 팀을 공유 목표를 향해 최적화합니다. 이러한 확립된 방법은 LLM 기반의 다중 에이전트 시스템을 훈련하는 데 자연스러운 기반을 제공합니다.
“분산화된 추론의 이점은 무엇인가?"
분산 실행 시, 에이전트는 자체 프롬프트와 정책을 사용합니다. 장치 구성이 허용되는 경우, 독립적인 생성은 동시에 실행될 수 있으며, 역할별 모델 및 모듈형 작업 분해를 지원합니다. 지연 시간, 메모리 사용량, 작업 품질은 모델 크기, 프롬프트 길이, 통신, 장치에 따라 달라집니다. 분산만으로는 속도 향상이나 중앙 집중식 모델에 사용 가능한 모든 정보를 보존하는 것을 보장하지 않습니다.
특징#
- LLM를 사용하는 다중 에이전트 학습 방법:
- 다중 에이전트 REINFORCE: Critic를 사용하지 않는 정책 경사 방법, MAREINFORCE, MAGRPO, MARLOO, 및 MAReMax.
joint_mode='aligned'와 함께 인덱스 정렬된 공동 응답.joint_mode='cross'와 함께 카테시안 곱 공동 응답.
- 다중 에이전트 Actor-Critic: Actor-Critic 방법, IAC 및 MAAC 포함.
- 독립적인 actor-critic (LLM backbone 위에서 별도의 critic 또는 value head).
- 공동 프롬프트에 대한 중앙 집중식 critic와 별도의 actors.
- 다중 에이전트 PbRL: MADPO, MARLHF 및 반복형 변형.
- 직접 공동 선호 최적화 또는 학습된 공동 보상 후 RL.
- 분산된 actors 또는 역할 인식 공동 응답을 가진 하나의 중앙 집중식 actor.
- 다중 에이전트 REINFORCE: Critic를 사용하지 않는 정책 경사 방법, MAREINFORCE, MAGRPO, MARLOO, 및 MAReMax.
- 실제 세계 작업 시뮬레이션 환경으로 LLM 협업 훈련 및 평가:
- 글쓰기: 여러 LLM 에이전트가 기사를 처리하는 데 협력합니다.
- 코딩: 프로그래밍 문제에 대한 협업 코딩 생성.
- MBPP - 주로 기본적인 Python 문제.
- HumanEval - 손으로 작성된 평가 문제.
- CoopHumanEval - HumanEval의 협력적인 변형.
- ClassEval - 속성 및 문서 문자열을 기반으로 클래스 수준 코드를 완성합니다.
- 여행: 사용자 제약 조건 하에서 협업 여행 계획.
- TravelPlanner - 다일 여행 일정 계획.
- 도구 사용: BFCL v4에서 기능 호출에 대한 협업.
- 원시 병렬 - 병렬 함수 호출을 수행합니다.