Um novo artigo sobre inferência de modelos de linguagem grandes em camadas estabelece uma condição para determinar quando nenhum limiar de confiança torna vantajosa uma cascata de modelos locais para um datacenter, em comparação com o envio de todas as consultas ao modelo de contingência no datacenter. O trabalho foi publicado como artigo de posicionamento no arXiv.
A inferência em camadas executa modelos em dispositivos como os equipamentos dos usuários e sistemas de borda, bem como em datacenters. Em sistemas que decidem se respondem a uma consulta localmente ou a encaminham para um nível superior, essa decisão costuma se basear em um sinal de confiança do modelo usado na inferência direta. O artigo trata o roteamento como um teste binário e considera tanto a capacidade do sinal de detectar erros locais quanto a frequência com que ele encaminha consultas que o modelo local teria respondido corretamente.
A análise introduz uma razão de custo da arquitetura, κ, definida como o custo marginal de uma execução do modelo local em relação ao custo de encaminhar a consulta para um nível superior. Os autores derivam uma condição de viabilidade delimitada por dois limites: um piso independente do sinal, abaixo do qual uma cascata é viável independentemente da qualidade do sinal, e um teto para um sinal perfeito, acima do qual nenhuma cascata é viável. O artigo também relata que a condição se inverte entre diferentes contextos de implantação.
Quando a computação local é cobrada, como em uma API de nuvem, seu custo pode limitar a viabilidade de uma cascata. Quando o hardware já foi adquirido e o custo marginal de outra execução local se aproxima de zero, a viabilidade torna-se incondicional no modelo; a qualidade do sinal passa então a determinar os resultados que a cascata pode alcançar. Por isso, os autores afirmam que a conclusão sobre custos se aplica a contextos de computação paga, e não a todas as implantações descentralizadas.
O artigo também identifica três requisitos para uma arquitetura que pretenda superar o limite de viabilidade: um sinal de encaminhamento calibrado, disponível a um custo marginal quase nulo; uma carga útil entre níveis que possa ser comprimida para caber na largura de banda disponível; e um posicionamento que respeite a localidade. Segundo o artigo, as técnicas existentes atendem a esses requisitos separadamente, mas nenhum modelo atual atende aos três em conjunto.
A arquitetura proposta, concebida em conjunto com esses requisitos, e um protocolo para testá-la são apresentados como trabalhos futuros. O artigo não implementa nem avalia a arquitetura e descreve sua contribuição como a condição de viabilidade e a análise resultante dos regimes de implantação.
Fontes: arXiv cs.AI.