I sistemi di IA agentica possono richiedere più potenza di calcolo, larghezza di banda di rete e tempo del previsto, perché i loro percorsi di esecuzione si delineano man mano che lavorano. Un articolo di ricerca propone Conformal Reservation for Orchestration (CRO), un metodo online per stimare queste esigenze prima che inizi un’attività.

Gli agenti basati su LLM operano spesso in più fasi: chiamano strumenti come motori di ricerca sul web, interpreti di codice e database, poi usano i risultati per decidere cosa fare in seguito. Poiché gli strumenti utilizzati e il numero di fasi dipendono dalle osservazioni intermedie e dal campionamento dei token, un orchestratore non può conoscere l’intero carico di lavoro al momento dell’invio. L’articolo descrive le conseguenti esigenze di calcolo, larghezza di banda e latenza come potenzialmente caratterizzate da code pesanti e distribuzioni multimodali.

Questa incertezza crea un compromesso: riservare troppe poche risorse può causare limitazioni della capacità o il mancato rispetto delle scadenze, mentre riservarne troppe può sprecare capacità limitata. Gli autori affermano che gli scheduler dei flussi di lavoro esistenti in genere presuppongono una struttura della pipeline nota, mentre altri approcci alla gestione delle risorse si basano su modelli di domanda che potrebbero non adattarsi a questi carichi di lavoro variabili degli agenti.

CRO usa una finestra mobile delle esecuzioni completate di recente per stabilire le riserve di risorse per le attività in arrivo. Applica la predizione conforme per fornire garanzie di copertura a campione finito e indipendenti dalla distribuzione, senza presupporre una forma specifica per le distribuzioni della domanda. Secondo la formulazione dell’articolo, il metodo verifica anche se è probabile che un’attività rispetti la propria scadenza.

Nelle simulazioni che hanno coinvolto diverse combinazioni di attività e profili di risorse multimodali e con code pesanti, CRO è stato l’unico metodo valutato che, secondo quanto riportato, ha raggiunto la copertura probabilistica obiettivo a tutti i livelli di rischio testati. Tra i metodi che hanno raggiunto gli obiettivi di copertura, ha registrato la minore sovra-riservazione: gli autori riferiscono uno spreco di risorse pari a circa la metà rispetto a un metodo di riferimento basato sul limite di Chebyshev.

Fonti: arXiv cs.AI.