Les systèmes d’IA agentique peuvent utiliser davantage de puissance de calcul, de bande passante réseau et de temps que prévu, car leurs parcours d’exécution se déroulent au fil du travail. Un article de recherche propose Conformal Reservation for Orchestration (CRO), une méthode en ligne permettant d’estimer ces besoins avant le début d’une tâche.
Les agents alimentés par des LLM fonctionnent souvent en plusieurs étapes : ils appellent des outils tels que des moteurs de recherche Web, des interpréteurs de code et des bases de données, puis utilisent les résultats pour décider de la suite. Comme les outils utilisés et le nombre d’étapes dépendent des observations intermédiaires et de l’échantillonnage des jetons, un orchestrateur ne peut pas connaître la charge de travail complète au moment de la répartition. L’article décrit les demandes qui en résultent en matière de calcul, de bande passante et de latence comme pouvant présenter des distributions à queue lourde et multimodales.
Cette incertitude entraîne un compromis : réserver trop peu de ressources peut provoquer une limitation du débit ou faire manquer les échéances, tandis qu’en réserver trop peut gaspiller une capacité limitée. Les auteurs indiquent que les ordonnanceurs de flux de travail existants supposent généralement une structure de pipeline connue, et que d’autres approches de gestion des ressources reposent sur des modèles de demande qui peuvent ne pas convenir à ces charges de travail variables des agents.
CRO utilise une fenêtre glissante d’exécutions récemment achevées pour définir les réservations de ressources des tâches entrantes. La méthode applique la prédiction conforme afin d’offrir des garanties de couverture sans distribution, valables pour un échantillon fini, sans supposer une forme particulière pour les distributions de la demande. Selon la formulation de l’article, elle vérifie également si une tâche est susceptible de respecter son échéance.
Dans des simulations portant sur différents mélanges de tâches et des profils de ressources multimodaux à queue lourde, CRO a été la seule méthode évaluée dont les résultats indiquaient qu’elle atteignait la couverture probabiliste cible à tous les niveaux de risque testés. Parmi les méthodes qui respectaient les objectifs de couverture, elle affichait la plus faible surréservation ; les auteurs rapportent qu’elle gaspillait environ deux fois moins de ressources qu’une méthode de référence fondée sur la borne de Tchebychev.
Sources: arXiv cs.AI.