CoMLRL 과 다른 다중 LLM 훈련 프레임워크의 차이점은 무엇인가?
많은 프레임워크가 역할별 LLM 기반의 다중 에이전트 시스템 훈련을 지원합니다 (PettingLLMs, Dr. MAS, MARTI). 대부분은 부분적으로 관측 가능한 확률 게임(POSGs)으로 구상되며, 각 에이전트는 자체 보상을 갖습니다. 각 에이전트 또는 역할에 대한 수동으로 설계된 보상 규칙은 훈련 신호를 더 밀집하게 만들지만, 설계하는 데는 많은 노력이 필요합니다.
협력 MARL 오랜 기간 동안 연구되어 왔으며, 일반적으로 다음과 같이 구성됩니다 Dec-POMDP. 다음과 같은 Dec-POMDP, 모든 에이전트가 하나의 보상을 공유하므로, 최적의 공동 정책은 이론적으로 협업에 대해 전적으로 최적입니다. 이 구성은 에이전트가 느슨하게 분할된 역할에서 더 구체적인 작업을 찾을 수 있도록 합니다 (자세한 내용은 CoopHumanEval 코딩 영역 참조). 또한, 매개변수 공유 접근 방식과 달리, CoMLRL 진정으로 구별된 시스템을 최적화하는 데 주로 사용됩니다 LLM 에이전트, 이는 다양한 기능과 다중 에이전트 환경을 더 잘 나타냅니다 LLMs 다양한 기능과 직접적으로 다중 에이전트 환경을 반영합니다.
CoMLRL 는 단일 에이전트 RL 사후 훈련을 지원하는가?
예. 사용자는 설정할 수 있습니다 num_agents=1 단일 에이전트 RL 다음의 학습 초기화 지침을 따릅니다. 그러나, CoMLRL 단일 에이전트 학습을 우선시하고 단일 에이전트의 특정 최적화에 일부 기능을 제외합니다. 단일 에이전트 학습의 경우, LLaMA-Factory, trl, OpenRLHF, 및 verl 가 더 나은 선택입니다.
CoMLRL 는 RSI 와 RL 사후 훈련을 사용하는 자가 플레이를 지원하는가?
예. CoMLRL 지원 다중 턴 RL 훈련 후, 따라서 환경 상호 작용이 이러한 파이프라인에 맞게 사용자 정의될 수 있습니다.
자기 학습 (Spiral, SPADE) 및 자기 개선 (MAFT)은 단일 에이전트 내에서 구현할 수 있으며, 이는 trainer (num_agents=1)에서 외부 트랜지션을 통해 각 단계마다 자기 학습 스타일의 프롬프트를 조정합니다. 예를 들어 에이전트의 역할을 변경하거나 이전 답변을 수정하도록 요청할 수 있습니다.
다중 에이전트 재귀적 자체 개선 (RSI)은 더 복잡합니다: 각 에이전트는 자체 trainer에서 실행되며, 시스템은 이러한 trainers를 조정합니다. 시스템은 각 턴마다 하나 이상의 trainers에 다른 프롬프트를 보내 에이전트의 응답을 수집하고, 각 trainer의 훈련을 예약된 단계에서 트리거합니다. 예를 들어, 에이전트 간에 번갈아 가며 훈련을 진행합니다.
CoMLRL 는 분산 훈련을 지원하는가?
CoMLRL 는 actors, critics 와 같은 전체 모델, 그리고 보상 모델을 단일 머신의 GPUs 에 배치할 수 있습니다. parallel_training="mp" 를 사용하여. 단일 모델을 여러 프로세스에 병렬로 훈련하거나 단일 모델을 여러 장치에 분할하는 기능은 제공하지 않습니다. 훈련 병렬화 는 장치 구성에 대한 설명입니다.
파라미터 공유를 사용하여 VRAM 를 저장할 수 있는가?
Yes. 설명된 대로 학습 대상, agents는 로드된 모델 객체를 수용하므로, 하나의 로드된 모델을 각 에이전트에 전달할 수 있습니다. 에이전트들은 그 가중치를 공유하고, 포맷터는 서로 다른 역할을 부여할 수 있습니다. 각 에이전트는 여전히 자체 옵티마이저 상태를 유지하므로, 가중치와 기울기 공유는 메모리 사용량을 줄이지만, 옵티마이저 상태는 공유되지 않습니다.
LoRA 또는 낮은 정밀도 훈련을 사용하여 VRAM 를 저장할 수 있는가?
권장하지 않음. 저희의 광범위한 실험에서, 둘 다 PEFT 방법과 같이 LoRA 또는 낮은 정밀도의 훈련이 잘 작동하지 않았습니다. LoRA 모델을 완전히 조정할 수 없었고, 효과적인 변경은 더 큰 LoRA 어댑터를 필요로 할 수 있으며, 이는 메모리 사용량을 증가시킬 수 있습니다. 대신, 에이전트가 유사한 초기 성능을 가진 모델에서 시작할 때 파라미터 공유를 사용할 수 있으며, 그래디언트 체크포인팅은 활성화 메모리를 줄일 수 있지만, 이러한 접근 방식은 널리 테스트되지 않았습니다. 사용자는 이를 테스트하고 결과를 공유하도록 초대합니다 CoMLRL 문제.