Registro de cambios#

Versión 1.4.3#

• Soporte para algoritmos MAPL, incluyendo MARLHF y MADPO (PR #72).
• Soporte para el entrenamiento de sistemas multi-agente centralizados (PR #72).
• Refinar la documentación.

Versión 1.4.2#

• Soporte para más modelos de comparador (commit e1b3d80).
• Solucionar el problema de generación homogénea (commit 11d89a9).

Versión 1.4.1#

• Soporte para utilizar el comparador como coordinador centralizado (PR #69).
• Permitir el despliegue de agentes LLM, el modelo de recompensa y el comparador en diferentes dispositivos (commit 7cbb792).
• Permit la copia de modelos actuales como comparadores en nuevos dispositivos (commit d8d493a).
• Optimizar el uso de memoria de GPU liberando rápidamente los modelos no utilizados (commit d0c6376).

Versión 1.4.0#

• Añadir métodos online de PbRL (PR #68).
• Añadir registrador de deriva de conjuntos de datos.

Versión 1.3.9#

• Añadir métodos offline de PbRL como MADPO y MARLHF (PR #67).

Versión 1.3.8#

• Permitir el uso de un modelo de referencia para todos los algoritmos (PR #65).
• Unificar el registrador entre diferentes trainers (PR #66).

Versión 1.3.7#

• Eliminar los hiperparámetros de muestreo redundantes en los algoritmos.
• Permit el entrenamiento con múltiples GPU utilizando MP (ver resultados en PR #62).

Versión 1.3.6#

• Solucionar un fallo crítico al cargar modelos heterogéneos y refactorizar la lógica de carga del modelo (ver resultados en PR #60).
• Pulir la documentación.

Versión 1.3.5#

• Añadir pruebas unitarias para restricciones de hiperparámetros.
• Limpiar interfaces heredadas.

Versión 1.3.4#

• Solucionar el fallo al cargar modelos heterogéneos y refactorizar la lógica de carga.
• Habilitar MBGD en MAGRPO para alinearse con MAAC y IAC.
• Eliminar hiperparámetros redundantes y heredados (p. ej., parámetros kwargs del modelo, hiperparámetros de parcheo).
• Limpiar código heredado de múltiples dispositivos, como drop_last y num_workers.
• Añadir pruebas unitarias para la carga del modelo y separarlas de CI como un distintivo.
• Limpiar funciones cortas.
• Reorganizar la documentación y alinear los parámetros.

Versión 1.3.3#

• Compactar la derivación de MAREINFORCETrainer y moverla a la nueva carpeta.
• Unificar la interfaz para diferentes trainers.
• Eliminar parches y envoltorios redundantes.
• Reorganizar las variables en los archivos de configuración YAML.

Versión 1.3.2#

• Solucionar el problema de registro de wandb en MAGRPOTrainer.

Versión 1.3.1#

• Permitir el entrenamiento por lotes en MAGRPOTrainer, IACTrainer y MAACTrainer.
• Permit el entrenamiento en múltiples turnos en IACTrainer y MAACTrainer.
• Cambiar el eje x de data_step a env_step.

Versión 1.3.0#

• Utilizar TD como el critic objetivo de actualización en IACTrainer y MAACTrainer.

Versión 1.2.9#

• Añadir MAACTrainer (centralizado critic); tanto IACTrainer como MAACTrainer ahora admiten el entrenamiento de un solo turno.

Versión 1.2.8#

• El critic en IACTrainer ahora estima V en lugar de Q.

Versión 1.2.7#

• Cambiar IPPOTrainer a IACTrainer.

Versión 1.2.6#

• Incluir MAGRPO, MAREINFORCE, MARLOO, MAREMAX y IPPO trainers para el aprendizaje por refuerzo multiagente con LLMs.
• Soporte para el entrenamiento en múltiples turnos con mecanismos de retroalimentación externa personalizados.
• Entornos de colaboración LLM para diversas tareas.
• Documentación y ejemplos completos para comenzar.