Os sistemas de IA agêntica podem usar mais capacidade computacional, largura de banda de rede e tempo do que o esperado, porque seus caminhos de execução se desenrolam à medida que trabalham. Um artigo de pesquisa propõe o Conformal Reservation for Orchestration (CRO), um método online para estimar essas necessidades antes do início de uma tarefa.
Agentes baseados em LLMs costumam operar em várias etapas, chamando ferramentas como pesquisas na web, interpretadores de código e bancos de dados, e depois usando os resultados para decidir o que fazer em seguida. Como as ferramentas usadas e o número de etapas dependem de observações intermediárias e da amostragem de tokens, um orquestrador não pode conhecer toda a carga de trabalho no momento do envio da tarefa. O artigo descreve as demandas resultantes de capacidade computacional, largura de banda e latência como potencialmente de cauda pesada e multimodais.
Essa incerteza cria um equilíbrio delicado: reservar poucos recursos pode levar à limitação de uso ou ao não cumprimento de prazos, enquanto reservar recursos em excesso pode desperdiçar capacidade limitada. Os autores afirmam que os escalonadores de fluxos de trabalho existentes geralmente pressupõem uma estrutura de pipeline conhecida, enquanto outras abordagens de gestão de recursos dependem de modelos de demanda que talvez não se ajustem a essas cargas de trabalho variáveis dos agentes.
O CRO usa uma janela deslizante de execuções concluídas recentemente para definir as reservas de recursos destinadas às tarefas recebidas. Ele aplica predição conformal para oferecer garantias de cobertura sem distribuição e com amostra finita, sem pressupor uma forma específica para as distribuições de demanda. Segundo a formulação do artigo, o método também verifica se é provável que uma tarefa cumpra o prazo.
Em simulações que envolveram diferentes combinações de tarefas e perfis de recursos multimodais e de cauda pesada, o CRO foi o único método avaliado que, segundo o relatório, atingiu a cobertura probabilística pretendida em todos os níveis de risco testados. Entre os métodos que cumpriram as metas de cobertura, teve o menor excesso de reserva, com os autores relatando aproximadamente metade do desperdício de recursos de uma referência baseada no limite de Chebyshev.
Fontes: arXiv cs.AI.