실제 세계 작업 시뮬레이션을 통해 LLM 협업 훈련 및 평가에 사용되는 환경:
글쓰기: 여러 LLM 에이전트가 기사를 처리하는 데 협력합니다.
코딩: 프로그래밍 문제에 대한 협업 코딩 생성.
- MBPP - 주로 기본적인 Python 문제.
- HumanEval - 손으로 작성된 평가 문제.
- CoopHumanEval - HumanEval의 협력적인 변형.
여행: 사용자 제약 조건 하에서 협업 여행 계획.
- TravelPlanner - 다일 여행 일정 계획.
도구 사용: BFCL v4에서 협업 함수 호출.
- 원시 병렬 - 병렬 함수 호출을 수행하는 기능.