LRMoE Apresenta Recalibração de Carga do Lado da Demanda para Treinamento Eficiente de MoE em Nós com Restrições de Memória — Inteligência artificial

Pesquisadores revelaram o LRMoE, um novo sistema de treinamento consciente da memória projetado para abordar gargalos de computação e comunicação em modelos esparsos Mixture-of-Experts (MoE). Ao recalibrar conjuntamente a demanda de retropropagação e equilibrar as cargas de trabalho sob restrições rigorosas de memória de GPU, o sistema alcança reduções significativas no tempo de treinamento em comparação com as linhas de base existentes.

Os modelos esparsos Mixture-of-Experts (MoE) fornecem capacidade escalável para aplicações web, mas frequentemente sofrem com roteamento desigual que cria gargalos na computação e na comunicação. Embora os métodos existentes tentem redistribuir as cargas de trabalho por meio de posicionamento e replicação, essas abordagens frequentemente fazem com que cópias adicionais de especialistas compitam com buffers relacionados a tokens pela memória limitada da GPU. Para resolver isso, pesquisadores introduziram o LRMoE, um sistema que recalibra conjuntamente a demanda de retropropagação e equilibra a carga de trabalho retida dentro das restrições de recursos.

A arquitetura do LRMoE opera por meio de um design em duas fases que separa o planejamento da execução direta da seleção da contribuição de retropropagação. Durante a passagem direta, o sistema planeja cotas de retenção e posicionamento de especialistas, preservando todas as computações roteadas para manter o contexto necessário. Na fase de retropropagação, uma métrica de recalibração de carga estima a contribuição de cada par token-especialista para a atualização do especialista. O sistema então seleciona apenas aqueles pares que se enquadram dentro das cotas pré-determinadas, garantindo que o trabalho de retropropagação esteja alinhado com a capacidade disponível.

Um algoritmo de roteamento consciente da capacidade distribui subsequentemente esses pares retidos entre as instâncias elegíveis de seus especialistas originais. Este processo é seguido por compactação física, que forma cargas de comunicação menores e GEMMs agrupados de tamanho variável. Essas otimizações coletivamente reduzem o tráfego de retropropagação, os requisitos de computação e a demanda sobre os buffers de execução. A abordagem trata a demanda de retropropagação como uma variável de agendamento consciente da contribuição, em vez de uma consequência fixa do roteamento direto, permitindo que o sistema priorize atualizações de alto valor sob orçamentos restritos.

Experimentos conduzidos nos modelos Qwen3-30B-A3B e GLM4.5-106B-A12B demonstram a eficácia deste método. O LRMoE reduz o tempo de treinamento cumulativo da camada MoE até alvos de perda fixa em 21,2% a 44,8% em relação à linha de base SYMI. Além disso, uma análise separada de reprodução de GPU indica uma redução de 57,8% na memória subtotal necessária para posicionamento de especialistas, réplicas e buffers de tokens em comparação com estratégias de propriedade fixa. O sistema coordena efetivamente o posicionamento de especialistas, a comunicação e o gerenciamento da carga de trabalho de retropropagação sem exigir melhorias nos próprios modelos subjacentes de busca ou recomendação.

Fontes: arXiv cs.AI.