LRMoE führt eine Nachkalibrierung der Last auf der Nachfrageseite für ein effizientes MoE-Training auf speicherbeschränkten Knoten ein — Künstliche Intelligenz

Forscher haben LRMoE vorgestellt, ein neues speicherbewusstes Trainingssystem, das darauf ausgelegt ist, Rechen- und Kommunikationsengpässe in spärlichen Mixture-of-Experts (MoE)-Modellen zu adressieren. Durch die gemeinsame Nachkalibrierung der Rückwärtsnachfrage und die Auslastungsbalance unter strengen GPU-Speicherbeschränkungen erzielt das System im Vergleich zu bestehenden Baselines signifikante Reduktionen der Trainingszeit.

Spärliche Mixture-of-Experts (MoE)-Modelle bieten eine skalierbare Kapazität für Webanwendungen, leiden jedoch häufig unter einem unausgewogenen Routing, das Engpässe bei Berechnung und Kommunikation verursacht. Während bestehende Methoden versuchen, Arbeitslasten durch Platzierung und Replikation umzuverteilen, führen diese Ansätze häufig dazu, dass zusätzliche Expertenkopien mit tokenbezogenen Puffern um begrenzten GPU-Speicher konkurrieren. Um dies zu adressieren, haben Forscher LRMoE eingeführt, ein System, das die Rückwärtsnachfrage gemeinsam nachkalibriert und die verbleibende Arbeitslast innerhalb der Ressourcenbeschränkungen ausbalanciert.

Die LRMoE-Architektur arbeitet über ein zweiphasiges Design, das die Planung der Vorwärtsausführung von der Auswahl des Rückwärtsbeitrags trennt. Während des Vorwärtspasses plant das System Retentionsquoten und die Expertenzuordnung, wobei alle gerouteten Berechnungen erhalten bleiben, um den notwendigen Kontext zu bewahren. In der Phase der Backpropagation schätzt eine Lastnachkalibrierungs-Metrik den Beitrag jedes Token-Experten-Paares zur Expertenaktualisierung. Das System wählt dann nur jene Paare aus, die innerhalb der vorbestimmten Quoten liegen, und stellt sicher, dass die Rückwärtsarbeit mit der verfügbaren Kapazität übereinstimmt.

Ein kapazitätsbewusstes Routing-Algorithmus verteilt diese zurückgehaltenen Paare anschließend auf berechtigte Instanzen ihrer ursprünglichen Experten. Diesem Prozess folgt eine physische Kompaktierung, die kleinere Kommunikationslasten und gruppierte GEMMs variabler Größe bildet. Diese Optimierungen reduzieren gemeinsam den Rückwärtsverkehr, die Rechenanforderungen und die Nachfrage nach Ausführungspuffern. Der Ansatz behandelt die Rückwärtsnachfrage als eine beitragsbewusste Planungsvariable und nicht als eine feste Konsequenz des Vorwärts-Routings, wodurch das System hochwertige Aktualisierungen unter begrenzten Budgets priorisieren kann.

Experimente mit den Modellen Qwen3-30B-A3B und GLM4.5-106B-A12B belegen die Wirksamkeit dieser Methode. LRMoE reduziert die kumulative Trainingszeit der MoE-Schichten bis zu festen Verlustzielen um 21,2 % bis 44,8 % im Vergleich zur SYMI-Baseline. Darüber hinaus zeigt eine separate GPU-Replay-Analyse eine Reduktion des für Expertenzuordnung, Replikate und Token-Puffer erforderlichen Gesamtspeichers um 57,8 % im Vergleich zu Strategien mit fester Zuordnung. Das System koordiniert effektiv die Expertenzuordnung, Kommunikation und das Management der Rückwärtslast, ohne dass Verbesserungen an den zugrunde liegenden Such- oder Empfehlungsmodellen selbst erforderlich sind.

Quellen: arXiv cs.AI.