Un nuevo artículo sobre la inferencia de modelos de lenguaje grandes en niveles establece una condición para determinar cuándo ningún umbral de confianza puede hacer que una cascada de modelos locales a un centro de datos valga la pena, en comparación con enviar todas las consultas al modelo de respaldo del centro de datos. El trabajo se publica como artículo de posición en arXiv.
La inferencia en niveles ejecuta modelos en dispositivos como los equipos de los usuarios y los sistemas de borde, además de en centros de datos. En los sistemas que deciden si responder una consulta localmente o escalarla, esa decisión suele basarse en una señal de confianza del modelo que procesa la consulta. El artículo trata el enrutamiento como una prueba binaria y considera tanto la capacidad de la señal para detectar errores locales como la frecuencia con que escala consultas que el modelo local habría respondido correctamente.
El análisis introduce una razón de costos de arquitectura, κ, definida como el costo marginal de una ejecución del modelo local en relación con una escalada. Los autores derivan una condición de viabilidad delimitada por dos extremos: un límite inferior independiente de la señal, por debajo del cual una cascada es viable sin importar la calidad de la señal, y un límite superior correspondiente a una señal perfecta, por encima del cual ninguna cascada es viable. El artículo también señala que la condición se invierte según el entorno de implementación.
Cuando el cómputo local se cobra, como ocurre con una API en la nube, su costo puede determinar si una cascada vale la pena. Cuando el hardware ya es propio y el costo marginal de otra ejecución local se aproxima a cero, la viabilidad pasa a ser incondicional en el modelo; entonces, la calidad de la señal determina los resultados que puede alcanzar la cascada. Por ello, los autores afirman que la conclusión sobre los costos se aplica a los entornos de cómputo de pago y no a todas las implementaciones descentralizadas.
El artículo también identifica tres requisitos para una arquitectura concebida para superar el límite de viabilidad: una señal de escalada calibrada y disponible a un costo marginal casi nulo, una carga útil entre niveles que pueda comprimirse para ajustarse al ancho de banda disponible y una ubicación que respete la localidad. Señala que las técnicas existentes cumplen estos requisitos por separado, pero que ningún modelo actual los satisface todos a la vez.
La arquitectura codiseñada propuesta y un protocolo para ponerla a prueba se presentan como trabajo futuro. El artículo no implementa ni evalúa la arquitectura, y describe su contribución como la condición de viabilidad y el análisis resultante de los regímenes de implementación.
Fuentes: arXiv cs.AI.