Was sind die Unterschiede zwischen CoMLRL und anderen Multi-LLM-Trainingsframeworks?
Viele Frameworks unterstützen das Training von rollenspezifischen, Multi-Agent-Systemen, die auf LLM basieren (PettingLLMs, Dr. MAS, MARTI). Die meisten davon werden als teilweise beobachtbare stochastische Spiele (POSGs) formuliert, wobei jeder Agent seinen eigenen Reward hat. Handgefertigte Reward-Regeln für jeden Agenten oder jede Rolle machen die Trainingssignale dichter, aber sie sind schwierig zu entwerfen.
Kooperatives MARL wurde lange Zeit untersucht und wird normalerweise als Dec-POMDP formuliert. In einem Dec-POMDP teilen alle Agenten einen Reward, so dass die optimale gemeinsame Policy, theoretisch, global optimal für die Zusammenarbeit ist. Diese Formulierung ermöglicht es auch Agenten, spezifischere Aufgaben aus lose definierten Rollen zu finden (siehe den CoopHumanEval-Codierungsbereich). Darüber hinaus unterstützt CoMLRL hauptsächlich die Optimierung von Systemen von wirklich unterschiedlichen LLM-Agenten, was besser heterogene LLMs mit unterschiedlichen Fähigkeiten darstellt und direkt die Multi-Agent-Umgebung widerspiegelt.
Unterstützt CoMLRL Single-Agent-RL-Post-Training?
Ja. Benutzer können einstellen num_agents=1 für Einzelagenten RL nach dem Training gemäß der Trainingsinitialisierung Anleitung. Allerdings, CoMLRL priorisiert einfaches Multi-Agent-Training und lässt einige Optimierungen, die spezifisch für den Einzelagenten sind, aus. Für Einzelagenten-Training, LLaMA-Factory, trl, OpenRLHF, und verl sind bessere Optionen.
Unterstützt CoMLRL Self-Play oder RSI zusammen mit RL-Post-Training?
Ja. CoMLRL unterstützt mehrere Gesprächsrunden RL nach dem Training, so dass die Interaktionen mit der Umgebung für diese Pipelines angepasst werden können.
Selbstspiel (Spiral, SPADE) und Selbstverbesserung (MAFT) können mit einem einzigen Agenten in einem trainer (num_agents=1) implementiert werden, wobei die externe Transition eine selbstspiel-basierte Anfrage in jeder Runde anpasst, beispielsweise durch den Wechsel der Agentenrolle oder durch die Aufforderung, die vorherige Antwort zu überarbeiten.
Multi-Agent-rekursives Self-Improvement (RSI) ist komplexer: Jeder Agent läuft in seinem eigenen trainer, und das System koordiniert diese trainers. In jeder Runde sendet das System verschiedene Prompts an einen oder mehrere trainers, um ihre Antworten der Agenten zu sammeln, und es initiiert das Training jedes trainer in seinen geplanten Schritten, z. B. durch das Abwechseln zwischen den Agenten.
Unterstützt CoMLRL verteiltes Training?
CoMLRL kann ganze Modelle, wie actors, critics und Belohnungsmodelle, auf verschiedenen GPUs einer einzelnen Maschine mit parallel_training="mp" platzieren. Es bietet keine Multi-Prozess-Datenparallel-Training oder das Aufteilen eines einzelnen Modells auf mehrere Geräte. Training Parallelisierung beschreibt die Gerätekonfiguration.
Kann ich Parameter-Sharing verwenden, um VRAM zu speichern?
Ja. Wie in Trainingsentitäten beschrieben, akzeptiert agents geladene Modellobjekte, sodass ein geladenes Modell für jeden Agenten übergeben werden kann. Die Agenten teilen dann ihre Gewichte, und Formatierer können ihnen unterschiedliche Rollen zuweisen. Jeder Agent behält jedoch seinen eigenen Optimierungszustand, sodass das Teilen Speicher für Gewichte und Gradienten, aber nicht für Optimierungszustände spart.
Kann ich LoRA oder Low-Precision-Training verwenden, um VRAM zu speichern?
Nicht empfohlen. In unseren umfangreichen Experimenten haben weder PEFT-Methoden wie LoRA noch das Training mit geringerer Präzision gut funktioniert. LoRA konnte die Modelle nicht vollständig abstimmen, und effektive Änderungen können sogar größere LoRA-Adapter erfordern, was die Speichernutzung erhöhen kann. Stattdessen kann Parameter-Sharing verwendet werden, wenn die Agenten von Modellen mit ähnlicher anfänglicher Leistung ausgehen, und Gradienten-Checkpointing kann den Aktivierungs-Speicher reduzieren, obwohl diese Ansätze nicht weit verbreitet getestet wurden. Benutzer sind eingeladen, sie zu testen und ihre Ergebnisse in den CoMLRL-Issues zu teilen.