Un nouvel article sur l’inférence de grands modèles de langage à plusieurs niveaux établit une condition dans laquelle aucun seuil de confiance ne peut rendre avantageuse une cascade allant d’un modèle local à un modèle hébergé dans un centre de données, par rapport à l’envoi de toutes les requêtes directement au modèle de secours du centre de données. Ces travaux sont publiés sous forme d’article de position sur arXiv.
L’inférence à plusieurs niveaux fait tourner des modèles sur des appareils tels que le matériel des utilisateurs et les systèmes périphériques, ainsi que dans des centres de données. Dans les systèmes qui décident de répondre à une requête localement ou de la transférer à un modèle supérieur, cette décision repose souvent sur un signal de confiance fourni par le modèle exécuté en premier. L’article traite le routage comme un test binaire et examine à la fois la capacité du signal à détecter les erreurs locales et la fréquence à laquelle il transfère des requêtes auxquelles le modèle local aurait répondu correctement.
L’analyse introduit un rapport de coûts architecturaux, κ, défini comme le coût marginal d’une exécution du modèle local par rapport au coût d’un transfert. Les auteurs établissent une condition de faisabilité délimitée par deux seuils : un plancher indépendant du signal, en dessous duquel une cascade est faisable quelle que soit la qualité du signal, et un plafond correspondant à un signal parfait, au-dessus duquel aucune cascade n’est faisable. L’article indique également que cette condition s’inverse selon les contextes de déploiement.
Lorsque le calcul local est facturé, comme dans le cas d’une API cloud, son coût peut déterminer si une cascade est avantageuse. Lorsque le matériel est déjà détenu et que le coût marginal d’une exécution locale supplémentaire est proche de zéro, le modèle considère que la faisabilité est inconditionnelle ; la qualité du signal détermine alors les résultats que la cascade peut atteindre. Les auteurs précisent donc que la conclusion relative aux coûts s’applique aux contextes de calcul payant, et non à tous les déploiements décentralisés.
L’article identifie également trois exigences pour une architecture conçue afin de dépasser la limite de faisabilité : un signal de transfert calibré, disponible à un coût marginal quasi nul ; une charge utile entre les niveaux pouvant être compressée pour tenir dans la bande passante disponible ; et un placement respectant la localité. Selon l’article, les techniques existantes répondent séparément à ces exigences, mais aucun modèle actuel ne les satisfait toutes les trois à la fois.
L’architecture co-conçue proposée et un protocole pour la tester sont présentés comme des travaux futurs. L’article ne met pas en œuvre ni n’évalue l’architecture, et décrit sa contribution comme la condition de faisabilité et l’analyse des régimes de déploiement qui en découle.
Sources: arXiv cs.AI.