Los sistemas de IA agéntica pueden usar más capacidad de cómputo, ancho de banda de red y tiempo de lo previsto, porque sus rutas de ejecución se desarrollan a medida que trabajan. Un artículo de investigación propone Conformal Reservation for Orchestration (CRO), un método en línea para estimar esas necesidades antes de que comience una tarea.
Los agentes impulsados por LLM suelen operar en varios pasos: usan herramientas como búsquedas web, intérpretes de código y bases de datos, y luego emplean los resultados para decidir qué hacer a continuación. Como las herramientas utilizadas y el número de pasos dependen de observaciones intermedias y del muestreo de tokens, un orquestador no puede conocer toda la carga de trabajo en el momento de asignar la tarea. El artículo describe las demandas resultantes de capacidad de cómputo, ancho de banda y latencia como potencialmente de cola pesada y multimodales.
Esa incertidumbre genera una disyuntiva: reservar muy pocos recursos puede provocar limitaciones de capacidad o incumplimientos de plazos, mientras que reservar demasiados puede desperdiciar capacidad limitada. Los autores señalan que, por lo general, los planificadores de flujos de trabajo existentes presuponen una estructura de canalización conocida, y que otros enfoques de gestión de recursos se basan en modelos de demanda que quizá no se ajusten a estas cargas de trabajo cambiantes de los agentes.
CRO utiliza una ventana deslizante de ejecuciones completadas recientemente para establecer reservas de recursos para las tareas entrantes. Aplica predicción conformal para ofrecer garantías de cobertura independientes de la distribución y válidas para muestras finitas, sin presuponer una forma determinada para las distribuciones de demanda. Según la formulación del artículo, el método también comprueba si es probable que una tarea cumpla su plazo.
En simulaciones con distintas combinaciones de tareas y perfiles de recursos multimodales y de cola pesada, CRO fue el único método evaluado que, según se informó, cumplió la cobertura probabilística objetivo en todos los niveles de riesgo probados. Entre los métodos que alcanzaron los objetivos de cobertura, registró la menor sobreasignación; los autores informaron que desperdició aproximadamente la mitad de los recursos que una referencia basada en la desigualdad de Chebyshev.
Fuentes: arXiv cs.AI.