Historique des modifications#

Version 1.4.3#

• Prise en charge des algorithmes MAPL, y compris MARLHF et MADPO (PR #72).
• Prise en charge de l’entraînement d’un système multi-agent centralisé (PR #72).
• Améliorer la documentation.

Version 1.4.2#

• Prise en charge de davantage de modèles de comparaison (commit e1b3d80).
• Correction du problème de génération homogène (commit 11d89a9).

Version 1.4.1#

• Prise en charge de l’utilisation du comparateur en tant que coordinateur centralisé (PR #69).
• Permettre le déploiement des agents LLM, du modèle de récompense et du comparateur sur différents appareils (commit 7cbb792).
• Permettre la copie des modèles actuels en tant que comparateurs sur de nouveaux appareils (commit d8d493a).
• Optimiser l’utilisation de la mémoire de GPU en libérant rapidement les modèles inutilisés (commit d0c6376).

Version 1.4.0#

• Ajouter des méthodes en ligne pour PbRL (PR #68).
• Ajouter un enregistreur de dérive de jeu de données.

Version 1.3.9#

• Ajouter des méthodes hors ligne telles que PbRL, MADPO et MARLHF (PR #67).

Version 1.3.8#

• Permettre l’utilisation d’un modèle de référence pour tous les algorithmes (PR #65).
• Unifier l’enregistreur entre différents trainers (PR #66).

Version 1.3.7#

• Supprimer les hyperparamètres d’échantillonnage redondants dans les algorithmes.
• Permettre l’entraînement multi-GPU avec MP (voir les résultats dans PR #62).

Version 1.3.6#

• Corriger un bug critique lors du chargement de modèles hétérogènes et refactoriser la logique de chargement des modèles (voir les résultats dans PR #60).
• Améliorer la documentation.

Version 1.3.5#

• Ajouter des tests unitaires pour les contraintes d’hyperparamètres.
• Nettoyer les interfaces héritées.

Version 1.3.4#

• Corriger le bug lors du chargement de modèles hétérogènes et refactoriser la logique de chargement.
• Activer MBGD dans MAGRPO pour correspondre à MAAC et IAC.
• Supprimer les hyperparamètres redondants et hérités (par exemple, les paramètres de modèle, les hyperparamètres de patching).
• Nettoyer le code hérité multi-appareil, tel que drop_last et num_workers.
• Ajouter des tests unitaires pour le chargement du modèle et les séparer de CI comme un badge.
• Nettoyer les fonctions courtes.
• Réorganiser la documentation et aligner les paramètres.

Version 1.3.3#

• Compresser la dérivation de MAREINFORCETrainer et la déplacer vers le nouveau dossier.
• Unifier l’interface pour différents trainers.
• Supprimer les correctifs et les enveloppes redondants.
• Réorganiser les variables dans les fichiers de configuration YAML.

Version 1.3.2#

• Corriger le problème de journalisation de wandb dans MAGRPOTrainer.

Version 1.3.1#

• Permettre l’entraînement par lots dans MAGRPOTrainer, IACTrainer et MAACTrainer.
• Permettre l’entraînement multi-étapes dans IACTrainer et MAACTrainer.
• Modifier l’axe des x de data_step à env_step.

Version 1.3.0#

• Utiliser TD comme critic cible de mise à jour dans IACTrainer et MAACTrainer.

Version 1.2.9#

• Ajouter MAACTrainer (centralisé séparément critic) ; IACTrainer et MAACTrainer prennent désormais en charge l’entraînement en une seule étape.

Version 1.2.8#

• La critic dans IACTrainer estime maintenant V plutôt que Q.

Version 1.2.7#

• Modifier IPPOTrainer à IACTrainer.

Version 1.2.6#

• Inclure MAGRPO, MAREINFORCE, MARLOO, MAREMAX et IPPO trainers pour l’apprentissage par renforcement multi-agents avec LLMs.
• Prise en charge de l’entraînement sur plusieurs tours avec des mécanismes de rétroaction externes personnalisés.
• Environnements de collaboration LLM pour diverses tâches.
• Documentation et exemples complets pour commencer.