Los modelos dispersos de Mezcla de Expertos (MoE) ofrecen una capacidad escalable para aplicaciones web, pero a menudo sufren de un enrutamiento desigual que crea cuellos de botella en el cómputo y la comunicación. Si bien los métodos existentes intentan redistribuir las cargas de trabajo mediante la colocación y la replicación, estos enfoques frecuentemente provocan que copias adicionales de expertos compitan con los búferes relacionados con tokens por una memoria de GPU limitada. Para abordar esto, los investigadores han introducido LRMoE, un sistema que recalibra conjuntamente la demanda hacia atrás y equilibra la carga de trabajo retenida dentro de las limitaciones de recursos.
La arquitectura de LRMoE opera mediante un diseño de dos fases que separa la planificación de la ejecución hacia adelante de la selección de contribuciones hacia atrás. Durante el paso hacia adelante, el sistema planifica las cuotas de retención y la colocación de expertos mientras preserva todos los cómputos enrutados para mantener el contexto necesario. En la fase de retropropagación, una métrica de recalibración de carga estima la contribución de cada par token-experto a la actualización del experto. El sistema luego selecciona solo aquellos pares que caen dentro de las cuotas predeterminadas, asegurando que el trabajo hacia atrás se alinee con la capacidad disponible.
Un algoritmo de enrutamiento consciente de la capacidad distribuye posteriormente estos pares retenidos entre las instancias elegibles de sus expertos originales. Este proceso es seguido por una compactación física, que forma cargas de comunicación más pequeñas y GEMMs agrupados de tamaño variable. Estas optimizaciones reducen colectivamente el tráfico hacia atrás, los requisitos de cómputo y la demanda sobre los búferes de ejecución. El enfoque trata la demanda hacia atrás como una variable de programación consciente de la contribución en lugar de una consecuencia fija del enrutamiento hacia adelante, permitiendo que el sistema priorice actualizaciones de alto valor bajo presupuestos limitados.
Los experimentos realizados con los modelos Qwen3-30B-A3B y GLM4.5-106B-A12B demuestran la eficacia de este método. LRMoE reduce el tiempo de entrenamiento acumulativo de capas MoE hasta alcanzar objetivos de pérdida fija en un 21,2% a un 44,8% en relación con la línea base SYMI. Además, un análisis separado de reproducción en GPU indica una reducción del 57,8% en la memoria subtotal requerida para la colocación de expertos, réplicas y búferes de tokens en comparación con las estrategias de propiedad fija. El sistema coordina efectivamente la colocación de expertos, la comunicación y la gestión de la carga de trabajo hacia atrás sin requerir mejoras en los modelos subyacentes de búsqueda o recomendación.
Fuentes: arXiv cs.AI.