LRMoE Introduce la Ricalibrazione del Carico dal Lato della Domanda per un Addestramento MoE Efficiente su Nodi con Vincoli di Memoria — Intelligenza artificiale

I ricercatori hanno presentato LRMoE, un nuovo sistema di addestramento consapevole della memoria progettato per affrontare i colli di bottiglia computazionali e di comunicazione nei modelli Sparse Mixture-of-Experts (MoE). Ricalibrando congiuntamente la domanda di propagazione inversa ed equilibrando i carichi di lavoro sotto vincoli rigorosi di memoria GPU, il sistema ottiene riduzioni significative dei tempi di addestramento rispetto alle linee di base esistenti.

I modelli Sparse Mixture-of-Experts (MoE) offrono una capacità scalabile per le applicazioni web, ma spesso soffrono di un instradamento disomogeneo che crea colli di bottiglia nella computazione e nella comunicazione. Sebbene i metodi esistenti tentino di ridistribuire i carichi di lavoro attraverso il posizionamento e la replicazione, questi approcci causano frequentemente copie aggiuntive degli esperti che competono con i buffer relativi ai token per una memoria GPU limitata. Per affrontare questo problema, i ricercatori hanno introdotto LRMoE, un sistema che ricalibra congiuntamente la domanda di propagazione inversa ed equilibra il carico di lavoro trattenuto entro i vincoli delle risorse.

L'architettura LRMoE opera attraverso una progettazione in due fasi che separa la pianificazione dell'esecuzione in avanti dalla selezione del contributo nella propagazione inversa. Durante il passaggio in avanti, il sistema pianifica le quote di ritenzione e il posizionamento degli esperti preservando tutti i calcoli instradati per mantenere il contesto necessario. Nella fase di backpropagation, una metrica di ricalibrazione del carico stima il contributo di ogni coppia token-esperto all'aggiornamento dell'esperto. Il sistema seleziona quindi solo quelle coppie che rientrano nelle quote pre-determinate, garantendo che il lavoro inverso si allinei con la capacità disponibile.

Un algoritmo di instradamento consapevole della capacità distribuisce successivamente queste coppie trattenute tra le istanze eleggibili dei loro esperti originali. Questo processo è seguito dalla compattazione fisica, che forma payload di comunicazione più piccoli e GEMM raggruppati di dimensioni variabili. Queste ottimizzazioni riducono collettivamente il traffico inverso, i requisiti computazionali e la domanda sui buffer di esecuzione. L'approccio tratta la domanda inversa come una variabile di pianificazione consapevole del contributo piuttosto che come una conseguenza fissa dell'instradamento in avanti, consentendo al sistema di dare priorità agli aggiornamenti ad alto valore entro budget vincolati.

Gli esperimenti condotti sui modelli Qwen3-30B-A3B e GLM4.5-106B-A12B dimostrano l'efficacia di questo metodo. LRMoE riduce il tempo cumulativo di addestramento degli strati MoE verso obiettivi di perdita fissa del 21,2% al 44,8% rispetto alla linea di base SYMI. Inoltre, un'analisi separata della riproduzione GPU indica una riduzione del 57,8% nella memoria totale richiesta per il posizionamento degli esperti, le repliche e i buffer dei token rispetto alle strategie di proprietà fissa. Il sistema coordina efficacemente il posizionamento degli esperti, la comunicazione e la gestione del carico di lavoro inverso senza richiedere miglioramenti ai modelli sottostanti di ricerca o raccomandazione stessi.

Fonti: arXiv cs.AI.