Studie bestimmt, wann sich vertrauensgesteuerte LLM-Kaskaden möglicherweise nicht lohnen

Ein neues Paper zur gestuften Inferenz mit großen Sprachmodellen legt eine Bedingung dafür fest, wann kein Konfidenzschwellenwert eine Kaskade vom lokalen Modell zum Rechenzentrum lohnenswert machen kann, verglichen damit, jede Anfrage an den Fallback im Rechenzentrum zu senden. Die Arbeit wurde als Positionspapier auf arXiv veröffentlicht.

Bei der gestuften Inferenz werden Modelle auf Geräten wie Benutzerhardware und Edge-Systemen sowie in Rechenzentren ausgeführt. In Systemen, die entscheiden, ob eine Anfrage lokal beantwortet oder weitergeleitet wird, stützt sich diese Entscheidung häufig auf ein Konfidenzsignal des vorgeschalteten Modells. Das Paper behandelt das Routing als binären Test und untersucht sowohl, wie gut das Signal lokale Fehler erkennt, als auch, wie oft es Anfragen weiterleitet, die das lokale Modell korrekt beantwortet hätte.

Die Analyse führt ein Architekturkostenverhältnis κ ein, das als Grenzkosten eines lokalen Modelllaufs im Verhältnis zu einer Weiterleitung definiert ist. Die Autoren leiten eine Machbarkeitsbedingung her, die durch zwei Grenzen bestimmt wird: eine signalunabhängige Untergrenze, unterhalb derer eine Kaskade unabhängig von der Signalqualität machbar ist, und eine Obergrenze für ein perfektes Signal, oberhalb derer keine Kaskade machbar ist. Das Paper berichtet außerdem, dass sich die Bedingung je nach Einsatzumgebung umkehrt.

Wenn lokale Berechnungen abgerechnet werden, etwa bei einer Cloud-API, können ihre Kosten beeinflussen, ob sich eine Kaskade lohnt. Ist die Hardware hingegen bereits vorhanden und nähern sich die Grenzkosten eines weiteren lokalen Durchlaufs null, ist die Machbarkeit im Modell bedingungslos; die Signalqualität bestimmt dann, welche Ergebnisse die Kaskade erzielen kann. Die Autoren erklären daher, dass die Kostenaussage für Umgebungen mit kostenpflichtiger Rechenleistung gilt und nicht für alle dezentralen Einsätze.

Das Paper nennt außerdem drei Anforderungen an eine Architektur, die die Machbarkeitsgrenze überwinden soll: ein kalibriertes Weiterleitungssignal, das zu nahezu keinen Grenzkosten verfügbar ist, eine tierübergreifende Nutzlast, die sich so komprimieren lässt, dass sie in die verfügbare Bandbreite passt, sowie eine Platzierung, die die Lokalität berücksichtigt. Den Autoren zufolge erfüllen bestehende Verfahren diese Anforderungen jeweils einzeln, aber kein aktuelles Modell alle drei zugleich.

Die vorgeschlagene, gemeinsam entworfene Architektur und ein Protokoll zu ihrer Erprobung werden als zukünftige Arbeit vorgestellt. Das Paper implementiert oder evaluiert die Architektur nicht und beschreibt seinen Beitrag als die Machbarkeitsbedingung und die daraus folgende Analyse der Einsatzregime.

Quellen: arXiv cs.AI.