Änderungen#

Version 1.4.3#

• Unterstützung für MAPL-Algorithmen, einschließlich MARLHF und MADPO (PR #72).
• Unterstützung für zentralisiertes Training von Multi-Agent-Systemen (PR #72).
• Dokumentation verbessern.

Version 1.4.2#

• Unterstützung für mehr Vergleicher-Modelle (Commit e1b3d80).
• Behebung des Problems mit der homogenen Generierung (Commit 11d89a9).

Version 1.4.1#

• Unterstützung für die Verwendung des Vergleichers als zentralen Koordinator (PR #69).
• Ermöglichen des Deployments von LLM-Agenten, dem Belohnungsmodell und dem Vergleicher auf verschiedenen Geräten (Commit 7cbb792).
• Ermöglichen Sie das Kopieren aktueller Modelle als Vergleicher auf neuen Geräten (Commit d8d493a).
• Optimieren Sie den Speicherverbrauch von GPU, indem Sie nicht benötigte Modelle umgehend freigeben (Commit d0c6376).

Version 1.4.0#

• Fügen Sie Online-Methoden für PbRL hinzu (PR #68).
• Fügen Sie einen Datensatz-Drift-Logger hinzu.

Version 1.3.9#

• Fügen Sie Offline-Methoden für PbRL hinzu, wie MADPO und MARLHF (PR #67).

Version 1.3.8#

• Ermöglichen Sie die Verwendung eines Referenzmodells für alle Algorithmen (PR #65).
• Vereinheitlichen Sie den Logger zwischen verschiedenen trainers (PR #66).

Version 1.3.7#

• Entfernen Sie redundante Sampling-Hyperparameter in Algorithmen.
• Ermöglichen Sie das Training mit mehreren GPU zusammen mit MP (siehe Ergebnisse in PR #62).

Version 1.3.6#

• Beheben Sie einen kritischen Fehler beim Laden heterogener Modelle und refaktorieren Sie die Logik zum Laden von Modellen (siehe Ergebnisse in PR #60).
• Verbessern Sie die Dokumentation.

Version 1.3.5#

• Fügen Sie Unit-Tests für Hyperparameter-Beschränkungen hinzu.
• Bereinigen Sie veraltete Schnittstellen.

Version 1.3.4#

• Beheben Sie den Fehler beim Laden heterogener Modelle und refaktorieren Sie die Ladelogik.
• Aktivieren Sie MBGD in MAGRPO, um mit MAAC und IAC kompatibel zu sein.
• Entfernen Sie redundante und veraltete Hyperparameter (z. B. Modell-Parameter, Patching-Hyperparameter).
• Bereinigen Sie veralteten Code für mehrere Geräte, z. B. drop_last und num_workers.
• Fügen Sie Unit-Tests für das Modell laden hinzu und trennen Sie diese von CI als Badge.
• Bereinigen Sie kurze Funktionen.
• Organisieren Sie die Dokumentation und passen Sie die Parameter an.

Version 1.3.3#

• Komprimieren Sie die MAREINFORCETrainer-Ableitung und verschieben Sie sie in das neue Verzeichnis.
• Vereinheitlichen Sie die Schnittstelle für verschiedene trainers.
• Entfernen Sie redundante Patches und Wrapper.
• Organisieren Sie die Variablen in den Config YAML-Dateien.

Version 1.3.2#

• Beheben Sie das wandb-Protokollierungsproblem in MAGRPOTrainer.

Version 1.3.1#

• Ermöglichen Sie das Batch-Training in MAGRPOTrainer, IACTrainer und MAACTrainer.
• Ermöglichen Sie mehrstufiges Training in IACTrainer und MAACTrainer.
• Ändern Sie die x-Achse von data_step zu env_step.

Version 1.3.0#

• Verwenden TD Fehler als den critic Aktualisierungsziel in IACTrainer und MAACTrainer.

Version 1.2.9#

• Fügen Sie MAACTrainer (zentralisiertes critic) hinzu; sowohl IACTrainer als auch MAACTrainer unterstützen jetzt das Training mit einer einzigen Runde.

Version 1.2.8#

• Der critic in IACTrainer schätzt jetzt V anstelle von Q.

Version 1.2.7#

• Ändern Sie IPPOTrainer zu IACTrainer.

Version 1.2.6#

• Inkludieren Sie MAGRPO, MAREINFORCE, MARLOO, MAREMAX und IPPO trainers für das mehragenten-Reinforcement Learning mit LLMs.
• Unterstützung für das Training über mehrere Schritte mit benutzerdefinierten externen Feedbackmechanismen.
• LLM-Zusammenarbeitsumgebungen für verschiedene Aufgaben.
• Umfassende Dokumentation und Beispiele für den Einstieg.