Agentische KI-Systeme können mehr Rechenleistung, Netzwerkbandbreite und Zeit benötigen als erwartet, weil sich ihre Ausführungspfade erst während der Arbeit entfalten. Eine Forschungsarbeit schlägt Conformal Reservation for Orchestration (CRO) vor, ein Online-Verfahren zur Schätzung dieses Bedarfs, bevor eine Aufgabe beginnt.

LLM-gestützte Agenten arbeiten oft in mehreren Schritten: Sie rufen Werkzeuge wie Websuchen, Code-Interpreter und Datenbanken auf und nutzen dann die Ergebnisse, um über ihr weiteres Vorgehen zu entscheiden. Da die verwendeten Werkzeuge und die Zahl der Schritte von Zwischenbeobachtungen und der Token-Stichprobenziehung abhängen, kann ein Orchestrator die vollständige Arbeitslast zum Zeitpunkt der Zuweisung nicht kennen. Die Arbeit beschreibt den daraus entstehenden Bedarf an Rechenleistung, Bandbreite und Latenz als potenziell schwer-schwänzig und multimodal.

Diese Unsicherheit schafft einen Zielkonflikt: Werden zu wenige Ressourcen reserviert, kann es zu Drosselungen oder verpassten Fristen kommen; werden zu viele reserviert, kann knappe Kapazität verschwendet werden. Die Autoren zufolge setzen bestehende Workflow-Scheduler im Allgemeinen eine bekannte Pipeline-Struktur voraus. Andere Ansätze zur Ressourcenverwaltung stützen sich auf Bedarfsmodelle, die möglicherweise nicht zu den wechselnden Arbeitslasten dieser Agenten passen.

CRO verwendet ein gleitendes Fenster kürzlich abgeschlossener Ausführungen, um Ressourcenreservierungen für anstehende Aufgaben festzulegen. Das Verfahren wendet konforme Vorhersage an, um Abdeckungsgarantien für endliche Stichproben zu bieten, die nicht von einer bestimmten Form der Bedarfsverteilungen abhängen. Der Formulierung der Arbeit zufolge prüft die Methode außerdem, ob eine Aufgabe ihre Frist voraussichtlich einhalten kann.

In Simulationen mit verschiedenen Aufgabenmischungen und multimodalen, schwer-schwänzigen Ressourcenprofilen war CRO die einzige ausgewertete Methode, die laut Bericht bei allen getesteten Risikoniveaus die angestrebte probabilistische Abdeckung erreichte. Unter den Methoden, die die Abdeckungsziele erfüllten, wies CRO die geringste Überreservierung auf. Den Autoren zufolge verschwendete das Verfahren ungefähr halb so viele Ressourcen wie eine Baseline auf Grundlage der Tschebyscheff-Schranke.

Quellen: arXiv cs.AI.