LRMoE introduit une recalibration de la charge côté demande pour un entraînement MoE efficace sur des nœuds contraints en mémoire — Intelligence artificielle

Des chercheurs ont dévoilé LRMoE, un nouveau système d'entraînement conscient de la mémoire conçu pour résoudre les goulots d'étranglement de calcul et de communication dans les modèles Sparse Mixture-of-Experts (MoE). En recalibrant conjointement la demande en arrière et en équilibrant les charges de travail sous des contraintes strictes de mémoire GPU, le système réalise des réductions significatives du temps d'entraînement par rapport aux références existantes.

Les modèles Sparse Mixture-of-Experts (MoE) offrent une capacité évolutive pour les applications web, mais souffrent souvent d'un routage inégal qui crée des goulots d'étranglement dans le calcul et la communication. Bien que les méthodes existantes tentent de redistribuer les charges de travail par le biais du placement et de la réplication, ces approches provoquent fréquemment une concurrence entre des copies supplémentaires d'experts et les tampons liés aux jetons pour une mémoire GPU limitée. Pour remédier à cela, des chercheurs ont introduit LRMoE, un système qui recalibre conjointement la demande en arrière et équilibre la charge de travail retenue dans les limites des ressources.

L'architecture LRMoE fonctionne selon une conception en deux phases qui sépare la planification d'exécution avant de la sélection de la contribution en arrière. Pendant le passage avant, le système planifie les quotas de rétention et le placement des experts tout en conservant tous les calculs routés pour maintenir le contexte nécessaire. Dans la phase de rétropropagation, une métrique de recalibration de charge estime la contribution de chaque paire jeton-expert à la mise à jour de l'expert. Le système sélectionne ensuite uniquement les paires qui tombent dans les quotas prédéterminés, garantissant que le travail en arrière s'aligne sur la capacité disponible.

Un algorithme de routage conscient de la capacité distribue ensuite ces paires retenues parmi les instances éligibles de leurs experts d'origine. Ce processus est suivi par une compaction physique, qui forme des charges utiles de communication plus petites et des GEMM groupés de taille variable. Ces optimisations réduisent collectivement le trafic en arrière, les exigences de calcul et la demande sur les tampons d'exécution. L'approche traite la demande en arrière comme une variable d'ordonnancement consciente de la contribution plutôt que comme une conséquence fixe du routage avant, permettant au système de prioriser les mises à jour à haute valeur dans le cadre de budgets contraints.

Les expériences menées sur les modèles Qwen3-30B-A3B et GLM4.5-106B-A12B démontrent l'efficacité de cette méthode. LRMoE réduit le temps d'entraînement cumulatif des couches MoE jusqu'à des cibles de perte fixe de 21,2 % à 44,8 % par rapport à la référence SYMI. De plus, une analyse séparée de la lecture GPU indique une réduction de 57,8 % du sous-total de mémoire requis pour le placement des experts, les répliques et les tampons de jetons par rapport aux stratégies de propriété fixe. Le système coordonne efficacement le placement des experts, la communication et la gestion de la charge de travail en arrière sans nécessiter d'améliorations des modèles de recherche ou de recommandation sous-jacents eux-mêmes.

Sources: arXiv cs.AI.