Parallélisation de l'entraînement

CoMLRL peut placer différents modèles sur différents GPUs. Avec parallel_training="mp", chaque agent fonctionne sur son propre appareil à partir de agent_devices, et les agents génèrent simultanément ; critics, les modèles de récompense, les comparateurs et les modèles de référence utilisent leurs propres paramètres d’appareil. L’option par défaut, "none", maintient les agents sur un seul appareil. Les deux modes fonctionnent sur une seule machine et n’exigent aucun planificateur de tâches.

Chaque modèle fonctionne entièrement sur son appareil attribué et n’est pas réparti sur GPUs. Les indices d’appareil font référence aux GPUs visibles via CUDA_VISIBLE_DEVICES. Une configuration pour plusieurs modèles prend soit un appareil par modèle, soit un seul appareil pour tous, afin que les utilisateurs puissent faire correspondre le placement aux GPUs disponibles et à la mémoire de chaque modèle. Le placement et la planification parallèle des appareils peuvent affecter les résultats de l’entraînement numérique.

La configuration suivante attribue à chaque modèle d’un processus itératif MARLHF fonctionner de manière autonome GPU: deux agents, une instance centralisée critic pour MAAC apprentissage de la politique, le modèle de récompense et des copies des agents actuels comme comparateurs.

from comlrl.trainers.preference import MARLHFIterConfig

config = MARLHFIterConfig(
    num_agents=2,
    num_turns=1,
    rl_algorithm="maac",
    parallel_training="mp",
    agent_devices=["cuda:0", "cuda:1"],
    critic_devices="cuda:2",
    reward_model_device="cuda:3",
    comparator_policy="current_copy",
    comparator_devices=["cuda:4", "cuda:5"],
)

Placement des appareils#