I marketplace di modelli AI ospitano fornitori con costi e capacità eterogenei, e tali differenze creano un'opportunità per l'arbitraggio computazionale: un intermediario acquista inferenza da un portafoglio di modelli e la rivende agli utenti con un profitto. Un lavoro precedente di Olmedo et al. (2026) ha dimostrato empiricamente che tale arbitraggio è fattibile per piccoli pool di modelli. Un nuovo articolo, "Circumventing the Computational Hardness of Computational Arbitrage" (arXiv:2610.40831v1), affronta cosa serve per scalare l'approccio a grandi marketplace, dove le strategie di arbitraggio devono essere sia computazionalmente trattabili sia economiche da identificare e implementare.

L'articolo illustra la dispersione dei prezzi sottostante con i dati di Terminal-Bench: raggiungere un tasso di risoluzione del 40% può costare da meno di un dollaro a più di 60 dollari, mentre raggiungere il 70% può costare da circa 10 dollari a oltre 180 dollari. Gli autori osservano che l'arbitraggio computazionale non è ancora implementato su larga scala perché un arbitraggista deve decidere come suddividere un budget di inferenza tra i modelli al crescere del loro numero, deve scegliere l'ordine in cui interrogarli per evitare spese non necessarie e deve conoscere come la probabilità di successo di ciascun modello varia con le query e il budget — quantità che l'articolo descrive come generalmente non disponibili e proibitivamente costose da stimare tramite chiamate a modelli a pagamento.

Il lavoro formalizza l'arbitraggio come un problema di allocazione del budget in cui l'intermediario sceglie un'allocazione indipendente dalla query tra i modelli per massimizzare la probabilità che almeno un output sia accettato, soggetta a un budget totale, assumendo che gli output dei modelli siano condizionatamente indipendenti data la query. Gli autori dimostrano che il problema è generalmente NP-hard. Mostrano poi che, sotto l'Assunzione 1 — ovvero che la riduzione logaritmica del fallimento acquistata da ciascun modello sia non decrescente e concava rispetto alla spesa, formalizzando i rendimenti decrescenti del calcolo inferenziale — l'obiettivo è congiuntamente concavo ed esiste un ottimo globale, caratterizzato dalle condizioni KKT e trovato efficientemente tramite ascesa coordinata ciclica sul Lagrangiano. Gli autori chiamano la mappa risultante dal budget al miglior tasso di risoluzione raggiungibile frontiera di arbitraggio; su mercati con fino a 70 modelli, tracciare l'intera frontiera con il loro metodo richiede meno di mezzo secondo, mentre la ricerca esaustiva su griglia usata in lavori precedenti sarebbe computazionalmente infattibile a quella scala. L'articolo osserva che rendimenti decrescenti di questo tipo sono stati osservati empiricamente per campionamento ripetuto, ragionamento chain-of-thought e post-addestramento.

Le condizioni KKT producono diverse implicazioni economiche. All'ottimo, ogni modello finanziato offre la stessa utilità marginale per dollaro, quindi riallocare il budget tra i modelli finanziati non può aumentare l'utilità. L'arbitraggio indirizza i ricavi lontano dai fornitori che offrono poca utilità rispetto ai loro prezzi — quelli la cui utilità marginale per dollaro scende sotto il prezzo ombra non ricevono alcun ricavo — il che, secondo gli autori, disciplina i prezzi indipendentemente dallo schema di fatturazione adottato da un fornitore. La regola di allocazione premia anche la specializzazione complementare: a parità di miglioramento medio, un fornitore guadagna di più mirando a query sulle quali è probabile che altri modelli falliscano.

Sull'implementazione, l'articolo mostra che l'arbitraggista può ridurre i costi realizzati interrogando i modelli finanziati in sequenza e fermandosi una volta trovata una soluzione accettabile, poiché l'ordine influisce sulla spesa senza cambiare la probabilità di successo dell'allocazione. Trovare l'ordine fisso ottimale è esso stesso NP-hard, quindi gli autori sviluppano una regola greedy che dà priorità ai modelli con la più alta utilità attesa per costo sulle query mancate dai modelli precedenti. Sui benchmark, l'ordinamento greedy segue da vicino l'ordine migliore trovato tramite ricerca esaustiva.

Per la stima, gli autori adattano stimatori empirici bayesiani, basandosi su strategie distribuzionali per prevedere lo scaling al momento dell'inferenza, per recuperare curve di utilità a livello di query da dati limitati e ridurre il costo iniziale dell'identificazione delle strategie di arbitraggio. Su sei benchmark, un arbitraggista che usa questo metodo raggiunge quasi lo stesso tasso di risoluzione di uno che stima le curve da ordini di grandezza in più di dati. Su quattro benchmark agentici e di coding, la strategia ottiene un miglior compromesso costo-prestazioni rispetto a qualsiasi modello individuale, secondo l'articolo, che afferma che codice e dati sono disponibili su GitHub.

Fonti: arXiv cs.AI.