Willkommen bei der Dokumentation von CoMLRL

Cooperative Multi-LLM Reinforcement Learning (CoMLRL) ist eine Open-Source-Bibliothek zum Trainieren mehrerer LLMs, die mithilfe von Multi-Agent Reinforcement Learning (MARL) zusammenarbeiten. Sie bietet Implementierungen verschiedener MARL-Algorithmen für LLM-Zusammenarbeit und unterstützt verschiedene Umgebungen und Benchmarks.

Animated overview of CoMLRL: pretrained language models, cooperative MARL trainers, and multi-agent environment interactions.

Über#

LLM Zusammenarbeit

“Was ist LLM-Zusammenarbeit?"

LLM-Zusammenarbeit beinhaltet, dass Agenten zusammenarbeiten, um Aufgaben in Multi-Agent-Systemen zu lösen. Jeder Agent erhält eine Aufgabenanforderung und generiert eine Antwort synchron gemäß seinen Anweisungen. Die Antworten der Agenten bilden gemeinsam eine Lösung. Benutzer und Systeme können die Lösung validieren und zusätzliche Anforderungen oder Vorschläge bereitstellen. Diese Interaktionen sind Teil der Umgebung, deren Zustand sich basierend auf den Ausgaben der Agenten ändern kann. Statusaktualisierungen werden in Anfragen für nachfolgende Runden enthalten, bis die Aufgabe abgeschlossen ist oder eine Rundenbegrenzung erreicht ist.

MARL Feinabstimmung

“Warum sollten wir Multi-LLM-Systeme mit MARL feinabstimmen?"

Viele Studien verwenden Multi-Agent-Systeme, die auf LLM basieren, um Aufgaben durch Agenteninteraktion zu lösen. Die meisten Modelle werden separat vortrainiert, ohne eine Optimierung für die Koordination, was die Leistung einschränken kann. Auch die effektive Gestaltung von Anfragen stellt eine Herausforderung dar. Kooperative MARL-Methoden optimieren Teams von Agenten auf ein gemeinsames Ziel. Diese etablierten Methoden bieten eine natürliche Grundlage für das Trainieren von LLM-basierten Multi-Agent-Systemen.

Dezentralisierung

“Welche Vorteile bietet dezentrales Denken?"

Während der dezentralen Ausführung verwenden Agenten ihre eigenen Prompts und Policies. Unabhängige Generierungen können gleichzeitig ausgeführt werden, wenn die Gerätekonfiguration dies zulässt, und unterstützen role-spezifische Modelle und modulare Aufgabenaufteilung. Latenz, Speicherverbrauch und Aufgabenqualität hängen von Modellgrößen, Prompt-Längen, Kommunikation und Geräten ab. Dezentralisierung allein garantiert keine Geschwindigkeitssteigerung oder die Erhaltung aller Informationen, die einem zentralen Modell zur Verfügung stehen.

Funktionen#

Mehr-Agenten-Lernmethoden für die Zusammenarbeit mit LLM:
- Mehr-Agenten-REINFORCE: Critic-freie Policy-Gradient-Methoden, einschließlich MAREINFORCE, MAGRPO, MARLOO und MAReMax.
  - Index-ausgerichtete gemeinsame Antworten mit joint_mode='aligned'.
  - Kartesisch-Produkt gemeinsame Antworten mit joint_mode='cross'.
- Mehr-Agenten-Actor-Critic: Actor-Critic-Methoden, einschließlich IAC und MAAC.
  - Unabhängige actor-critic (separate critic oder value head über LLM backbone).
  - Zentralisierte critic über gemeinsame Prompts mit separaten actors.
- Mehr-Agenten-PbRL: MADPO, MARLHF und ihre iterativen Varianten.
  - Direkte gemeinsame Präferenzoptimierung oder ein gelerntes gemeinsames Belohnungsmodell, gefolgt von RL.
  - Dezentrale actors oder ein zentrales actor mit role-sensitiven gemeinsamen Antworten.
Umgebungen, die reale Aufgaben simulieren, um die Zusammenarbeit von LLM zu trainieren und zu evaluieren:
- Schreiben: Mehrere LLM-Agenten arbeiten zusammen, um Artikel zu verarbeiten.
  - TLDR - Zusammenfassung von Reddit-Posts.
  - arXiv - Erweiterung von Abstracts in Einleitungen.
- Programmierung: Gemeinsame Code-Generierung für Programmierprobleme.
  - MBPP - Hauptsächlich einfache Python-Probleme.
  - HumanEval - Probleme zur handschriftlichen Bewertung.
  - CoopHumanEval - Eine kooperative Variante von HumanEval.
  - ClassEval - Vervollständigung von Code auf Klassenebene basierend auf Attributen und Docstrings.
- Reisen: Gemeinsame Reiseplanung unter Benutzerbeschränkungen.
  - TravelPlanner - Planung von mehrtägigen Reiseplänen.
- Werkzeugnutzung: Gemeinsame Funktionsaufrufe auf BFCL v4.
  - Native Parallel - Erstellen paralleler Funktionsaufrufe.