Bienvenido a la documentación de CoMLRL
Cooperative Multi-LLM Reinforcement Learning (CoMLRL) es una biblioteca de código abierto para entrenar múltiples LLMs para colaborar utilizando el Aprendizaje por Refuerzo Multiagente (MARL). Proporciona implementaciones de varios MARL algoritmos para la colaboración LLM y admite diferentes entornos y benchmarks.
Acerca de#
“¿Qué es la colaboración LLM?"
La colaboración LLM implica que los agentes trabajen juntos para resolver tareas en sistemas multiagente. Cada agente recibe una instrucción de tarea y genera una respuesta de forma sincrónica según sus instrucciones. Las respuestas de los agentes forman conjuntamente una solución. Los usuarios y los sistemas pueden validar la solución y proporcionar requisitos o sugerencias adicionales. Estas interacciones forman parte del entorno, cuyo estado puede cambiar en función de las salidas de los agentes. Las actualizaciones de estado se incluyen en las instrucciones para las siguientes rondas hasta que se complete la tarea o se alcance un límite de rondas.
“¿Por qué debemos ajustar multi-LLM sistemas con MARL?"
Muchos estudios utilizan sistemas multiagente basados en LLM para resolver tareas a través de la interacción de agentes. La mayoría de los modelos se preentrenan por separado sin optimización para la coordinación, lo que puede limitar el rendimiento. También resulta un desafío el diseño de instrucciones efectivas. Los métodos cooperativos de MARL optimizan equipos de agentes hacia un objetivo común. Estos métodos establecidos proporcionan una base natural para entrenar sistemas multiagente basados en LLM.
“¿Cuáles son los beneficios del razonamiento descentralizado?"
Durante la ejecución descentralizada, los agentes utilizan sus propios prompts y políticas. Las generaciones independientes pueden ejecutarse concurrentemente cuando la configuración del dispositivo lo permite, soportando modelos específicos para cada rol y la descomposición modular de tareas. La latencia, el uso de memoria y la calidad de la tarea dependen del tamaño de los modelos, la longitud de los prompts, la comunicación y los dispositivos. La descentralización por sí sola no garantiza una mejora de la velocidad ni la preservación de toda la información disponible para un modelo centralizado.
Características#
- Métodos de aprendizaje multiagente para la colaboración con LLM:
- Multi-Agente REINFORCE: Métodos de gradiente de política libres de Critic, incluyendo MAREINFORCE, MAGRPO, MARLOO y MAReMax.
- Respuestas conjuntas indexadas con
joint_mode='aligned'. - Respuestas conjuntas del producto cartesiano con
joint_mode='cross'.
- Respuestas conjuntas indexadas con
- Multi-Agente Actor-Critic: Métodos de Actor-Critic, incluyendo IAC y MAAC.
- actor-critic independiente (separado critic o value head sobre LLM backbone).
- critic centralizado sobre prompts conjuntos con actors separado.
- Multi-Agente PbRL: MADPO, MARLHF y sus variantes iterativas.
- Optimización conjunta de preferencias directa o recompensa conjunta aprendida seguida de RL.
- actors descentralizado o un actor centralizado con respuestas conjuntas conscientes del rol.
- Multi-Agente REINFORCE: Métodos de gradiente de política libres de Critic, incluyendo MAREINFORCE, MAGRPO, MARLOO y MAReMax.
- Entornos que simulan tareas del mundo real para el entrenamiento y la evaluación de la colaboración LLM:
- Escritura: Múltiples agentes LLM colaboran para procesar artículos.
- Codificación: Generación colaborativa de código para problemas de programación.
- MBPP - Principalmente problemas básicos de Python.
- HumanEval - Problemas de evaluación de escritura a mano.
- CoopHumanEval - Una variante cooperativa de HumanEval.
- ClassEval - Completar código a nivel de clase basado en atributos y cadenas de documentación.
- Viajes: Planificación de viajes colaborativa bajo restricciones del usuario.
- TravelPlanner - Planificar itinerarios de viajes de varios días.
- Uso de herramientas: Llamadas a funciones colaborativas en BFCL v4.
- Nativo en paralelo - Realizar llamadas a funciones en paralelo.