環境

LLM の協調を訓練および評価するための、現実世界のタスクをシミュレートする環境:

• 文章作成: 複数の LLM エージェントが記事の処理を共同で行う。

  • TLDR - Reddit の投稿の要約。
  • arXiv - 抽象を導入に拡張。

• コーディング: プログラミングの問題に対する共同コード生成。

  • MBPP - 基本的な Python 問題。
  • HumanEval - 手書きによる評価問題。
  • CoopHumanEval - HumanEval の協調的なバリエーション。

• 旅行: ユーザーの制約の下での共同旅行計画。

  • TravelPlanner - 複数日間の旅行行程の計画。

• ツール利用: BFCL v4 上での共同関数呼び出し。

  • ネイティブ並列 - 並列関数呼び出しの実現。