L'arbitrage computationnel sur les places de marché des modèles d'IA peut être rendu traitable, soutient un article arXiv

Les places de marché de modèles d'IA hébergent des fournisseurs aux coûts et capacités hétérogènes, et ces différences ouvrent la voie à un arbitrage computationnel : un intermédiaire achète de l'inférence auprès d'un portefeuille de modèles et la revend à des utilisateurs avec un profit. Des travaux antérieurs d'Olmedo et al. (2026) ont démontré empiriquement qu'un tel arbitrage est faisable pour de petits ensembles de modèles. Un nouvel article, « Circumventing the Computational Hardness of Computational Arbitrage » (arXiv:2610.40831v1), examine ce qu'il faut pour étendre l'approche à de grandes places de marché, où les stratégies d'arbitrage doivent être à la fois calculables efficacement et peu coûteuses à identifier et à déployer.

L'article illustre la dispersion sous-jacente des prix avec des chiffres de Terminal-Bench : atteindre un taux de résolution de 40 % peut coûter de moins d'un dollar à plus de 60 dollars, tandis qu'atteindre 70 % peut coûter d'environ 10 dollars à plus de 180 dollars. Les auteurs notent que l'arbitrage computationnel n'est pas encore déployé à grande échelle parce qu'un arbitragiste doit décider comment répartir un budget d'inférence entre les modèles à mesure que leur nombre augmente, doit choisir l'ordre dans lequel les interroger pour éviter des dépenses inutiles, et doit connaître la façon dont la probabilité de succès de chaque modèle varie avec les requêtes et le budget — des quantités que l'article décrit comme généralement indisponibles et prohibitivement coûteuses à estimer par des appels payants aux modèles.

Les travaux formalisent l'arbitrage comme un problème d'allocation budgétaire dans lequel l'intermédiaire choisit une allocation indépendante de la requête entre les modèles afin de maximiser la probabilité qu'au moins une sortie soit acceptée, sous contrainte d'un budget total, en supposant que les sorties des modèles sont conditionnellement indépendantes étant donné la requête. Les auteurs prouvent que le problème est généralement NP-difficile. Ils montrent ensuite que, sous l'hypothèse 1 — que la réduction logarithmique de l'échec achetée auprès de chaque modèle est non décroissante et concave en fonction des dépenses, ce qui formalise les rendements décroissants du calcul d'inférence — la fonction objectif est conjointement concave et un optimum global existe, caractérisé par les conditions KKT et trouvé efficacement par ascension cyclique par coordonnées sur le lagrangien. Les auteurs appellent la carte résultante du budget vers le meilleur taux de résolution atteignable la frontière d'arbitrage ; sur des marchés comptant jusqu'à 70 modèles, tracer la frontière complète avec leur méthode prend moins d'une demi-seconde, alors que la recherche exhaustive sur grille utilisée dans des travaux antérieurs serait calculatoirement infaisable à cette échelle. L'article note que des rendements décroissants de ce type ont été observés empiriquement pour l'échantillonnage répété, le raisonnement par chaîne de pensée et le post-entraînement.

Les conditions KKT donnent plusieurs implications économiques. À l'optimum, chaque modèle financé procure la même utilité marginale par dollar, de sorte que réaffecter le budget entre les modèles financés ne peut pas augmenter l'utilité. L'arbitrage détourne les revenus des fournisseurs qui offrent peu d'utilité au regard de leurs prix — ceux dont l'utilité marginale par dollar tombe sous le prix fantôme ne reçoivent aucun revenu — ce qui, selon les auteurs, discipline la tarification quel que soit le mode de facturation adopté par un fournisseur. La règle d'allocation récompense aussi la spécialisation complémentaire : pour une amélioration moyenne fixe, un fournisseur gagne davantage en ciblant des requêtes sur lesquelles d'autres modèles sont susceptibles d'échouer.

Pour le déploiement, l'article montre que l'arbitragiste peut réduire les coûts réalisés en interrogeant les modèles financés séquentiellement et en s'arrêtant dès qu'une solution acceptable est trouvée, puisque l'ordre affecte les dépenses sans changer la probabilité de succès de l'allocation. Trouver l'ordre fixe optimal est lui-même NP-difficile, aussi les auteurs développent-ils une règle gloutonne qui priorise les modèles ayant la plus forte utilité attendue par coût sur les requêtes manquées par les modèles précédents. Sur l'ensemble des benchmarks, l'ordonnancement glouton suit de près le meilleur ordre trouvé par recherche exhaustive.

Pour l'estimation, les auteurs adaptent des estimateurs bayésiens empiriques, en s'appuyant sur des stratégies distributionnelles pour prédire la mise à l'échelle au moment de l'inférence, afin de retrouver des courbes d'utilité au niveau des requêtes à partir de données limitées et de réduire le coût initial d'identification des stratégies d'arbitrage. Sur six benchmarks, un arbitragiste utilisant cette méthode atteint presque le même taux de résolution qu'un arbitragiste estimant les courbes à partir de données plus nombreuses de plusieurs ordres de grandeur. Sur quatre benchmarks d'agents et de codage, la stratégie obtient un meilleur compromis coût-performance que tout modèle individuel, selon l'article, qui indique que le code et les données sont disponibles sur GitHub.

Sources: arXiv cs.AI.