Un nuovo articolo sull’inferenza di modelli linguistici di grandi dimensioni (LLM) a livelli stabilisce una condizione in cui nessuna soglia di confidenza può rendere conveniente una cascata da un modello locale a uno in un datacenter, rispetto all’invio di tutte le query direttamente al modello di riserva nel datacenter. Il lavoro è stato pubblicato su arXiv come position paper.
L’inferenza a livelli esegue modelli su dispositivi quali l’hardware degli utenti e i sistemi edge, oltre che nei datacenter. Nei sistemi che decidono se rispondere a una query localmente o inoltrarla, la decisione si basa spesso su un segnale di confidenza del modello che la elabora. L’articolo tratta l’instradamento come un test binario e considera sia l’efficacia del segnale nell’individuare gli errori locali, sia la frequenza con cui inoltra query a cui il modello locale avrebbe risposto correttamente.
L’analisi introduce un rapporto tra i costi dell’architettura, κ, definito come il costo marginale di un’elaborazione del modello locale rispetto a un inoltro. Gli autori ricavano una condizione di fattibilità delimitata da due estremi: un limite minimo indipendente dal segnale, al di sotto del quale una cascata è fattibile a prescindere dalla qualità del segnale, e un limite massimo, con segnale perfetto, al di sopra del quale nessuna cascata è fattibile. L’articolo riferisce inoltre che la condizione si inverte a seconda del contesto di distribuzione.
Quando il calcolo locale è fatturato, come nel caso di un’API cloud, il suo costo può determinare se una cascata convenga. Quando l’hardware è già di proprietà e il costo marginale di un’ulteriore elaborazione locale si avvicina a zero, nel modello la fattibilità diventa incondizionata; la qualità del segnale determina allora i risultati raggiungibili dalla cascata. Gli autori affermano quindi che la conclusione sui costi si applica ai contesti in cui il calcolo è a pagamento, non a tutte le distribuzioni decentralizzate.
L’articolo individua anche tre requisiti per un’architettura concepita per superare il limite di fattibilità: un segnale di inoltro calibrato, disponibile a un costo marginale prossimo allo zero; un payload tra livelli comprimibile per rientrare nella larghezza di banda disponibile; e un posizionamento che rispetti la località. Secondo l’articolo, le tecniche esistenti soddisfano questi requisiti singolarmente, ma nessun modello attuale li soddisfa tutti e tre contemporaneamente.
L’architettura progettata congiuntamente e un protocollo per testarla sono presentati come lavori futuri. L’articolo non implementa né valuta l’architettura e descrive il proprio contributo come la condizione di fattibilità e la conseguente analisi dei regimi di distribuzione.
Fonti: arXiv cs.AI.