Künstliche Intelligenz

LRMoE führt eine Nachkalibrierung der Last auf der Nachfrageseite für ein effizientes MoE-Training auf speicherbeschränkten Knoten ein

Forscher haben LRMoE vorgestellt, ein neues speicherbewusstes Trainingssystem, das darauf ausgelegt ist, Rechen- und Kommunikationsengpässe in spärlichen Mixture-of-Experts (MoE)-Modellen zu adressieren. Durch die…