변경 로그#

버전 1.4.3#

• MAPL 알고리즘을 지원하며, 여기에는 MARLHF 및 MADPO도 포함됩니다 (PR #72).
• 중앙 집중형 다중 에이전트 시스템 훈련을 지원합니다 (PR #72).
• 문서를 개선합니다.

버전 1.4.2#

• 더 많은 비교 모델을 지원합니다 (커밋 e1b3d80).
• 동종 생성 문제를 수정합니다 (커밋 11d89a9).

버전 1.4.1#

• 비교기를 중앙 집중형 조정기로 사용하는 것을 지원합니다 (PR #69).
• LLM 에이전트, 보상 모델, 비교기를 서로 다른 장치에 배포할 수 있도록 합니다 (커밋 7cbb792).
• 새로운 장치에서 현재 모델을 비교 도구로 복사하는 것을 허용 (커밋 d8d493a).
• GPU 메모리 사용량을 최적화하여 사용하지 않는 모델을 즉시 해제 (커밋 d0c6376).

버전 1.4.0#

• 온라인 PbRL 방법을 추가 (PR #68).
• 데이터셋 드리프트 로거 추가.

버전 1.3.9#

• PbRL 과 MADPO, MARLHF 와 같은 오프라인 방법, PR #67 을 추가합니다.

버전 1.3.8#

• 모든 알고리즘에 참조 모델을 사용하도록 허용 (PR #65).
• trainers 간에 로거를 통일 (PR #66).

버전 1.3.7#

• 알고리즘에서 중복된 샘플링 하이퍼파라미터를 제거.
• GPU 와 함께 다중 MP 훈련을 허용합니다 (결과를 PR #62 에서 확인).

버전 1.3.6#

• 다중 모델 로딩의 중요한 버그를 수정하고 모델 로딩 로직을 재구성합니다 (결과를 PR #60 에서 확인).
• 문서를 다듬습니다.

버전 1.3.5#

• 하이퍼파라미터 제약 조건에 대한 단위 테스트를 추가합니다.
• 레거시 인터페이스를 정리합니다.

버전 1.3.4#

• 다중 모델 로딩의 버그를 수정하고 로딩 로직을 재구성합니다.
• MBGD 를 MAGRPO 에 활성화하여 MAAC 및 IAC 과 일치하도록 합니다.
• 중복되고 레거시 하이퍼파라미터를 제거합니다 (예: 모델 kwargs, 패칭 하이퍼파라미터).
• 다중 장치 레거시 코드를 정리합니다 (예: drop_last 및 num_workers).
• 모델 로딩에 대한 단위 테스트를 추가하고 CI 를 배지로 분리.
• 짧은 함수를 정리합니다.
• 문서를 재정리하고 매개변수를 일치시킵니다.

버전 1.3.3#

• MAREINFORCETrainer 의 파생을 압축하고 새로운 폴더로 이동합니다.
• trainers 에 대한 인터페이스를 통일합니다.
• 중복된 패치와 래퍼를 제거합니다.
• config YAML 파일의 변수를 재정리합니다.

버전 1.3.2#

• MAGRPOTrainer 에서 wandb 로깅 문제를 수정합니다.

버전 1.3.1#

• MAGRPOTrainer, IACTrainer, 및 MAACTrainer 에서 배치 훈련을 허용합니다.
• IACTrainer 및 MAACTrainer에서 다중 턴 훈련을 허용합니다.
• x축을 data_step에서 env_step로 변경합니다.

버전 1.3.0#

• TD 오류를 critic 업데이트 대상으로 IACTrainer 및 MAACTrainer에서 사용합니다.

버전 1.2.9#

• MAACTrainer (별도의 중앙 집중식 critic)를 추가; 이제 IACTrainer 및 MAACTrainer 모두 단 턴 훈련을 지원합니다.

버전 1.2.8#

• IACTrainer의 critic는 이제 Q가 아닌 V를 추정합니다.

버전 1.2.7#

• IPPOTrainer를 IACTrainer로 변경합니다.

버전 1.2.6#

• MAGRPO, MAREINFORCE, MARLOO, MAREMAX, 및 IPPO trainers를 사용하여 LLMs와 함께 다중 에이전트 강화 학습을 포함합니다.
• 사용자 지정 외부 피드백 메커니즘을 사용하는 다중 턴 훈련 지원.
• 다양한 작업에 대한 LLM 협업 환경.
• 시작하기 위한 포괄적인 문서 및 예제.