Sprachmodelle kodieren möglicherweise Informationen über molekulare funktionelle Gruppen, selbst wenn sie diese in ihren Antworten nicht identifizieren können. Das geht aus einer Studie mit fünf Open-Source-Modellen hervor. Die Forschenden untersuchten interne Repräsentationen zu Prompts über 92 Moleküle aus 20 funktionellen Gruppen und stellten fest, dass die Modelle diese Gruppen auf chemisch sinnvolle Weise anordneten.
Die Studie macht eine Diskrepanz zwischen dem deutlich, was ein Modell intern repräsentiert, und dem, was es sagt. In einem Beispiel könnte ein Modell auf die Frage nach der primären funktionellen Gruppe in 1-Fluorbutan mit „Alkingruppe“ statt mit „Alkylfluorid“ antworten. Anhand einer Antwort allein lässt sich nicht erkennen, ob das Modell das Fluor nicht erkannt oder es zwar erkannt, dieses Wissen aber nicht korrekt ausgedrückt hat.
Die Forschenden untersuchten fünf Modelle mit jeweils 8 Milliarden Parametern: ein Basismodell für allgemeine Zwecke, drei auf Chemie trainierte Modelle und ein für Schlussfolgerungen destilliertes Modell. Sie verglichen die generierten Antworten der Modelle mit den verborgenen Repräsentationen, die aus jeder Schicht extrahiert wurden. Das Basismodell benannte in 58,5 % der Prompts die richtige Gruppe – die niedrigste Genauigkeit der fünf Modelle –, doch seine internen Repräsentationen spiegelten dennoch Familien funktioneller Gruppen und konsistente chemische Unterschiede wider.
Diese Repräsentationen erfassten auch Beziehungen zwischen verwandten Strukturen. So führte beispielsweise die in der Repräsentation der Modelle abgebildete Umwandlung eines Thioethers in ein Thiol, auf einen Ether angewandt, in Richtung eines Alkohols. Die Forschenden berichten außerdem, dass Informationen über funktionelle Gruppen in mittleren Schichten deutlich hervortraten, wo sich die Repräsentationen von einer Ausrichtung an der Formulierung des Prompts hin zu einer Ausrichtung an der Gruppe selbst verschoben.
Die Ergebnisse legen nahe, dass ein Fine-Tuning für Chemie bereits vorhandene chemische Informationen neu ordnen kann, sodass funktionelle Gruppen in den Repräsentationen eines Modells stärker hervortreten, statt lediglich zuvor fehlendes Wissen hinzuzufügen. Die Autoren argumentieren daher, dass eine Bewertung chemischer Sprachmodelle allein anhand ihrer schriftlichen Antworten die von ihnen kodierten Informationen unterschätzen kann und dass die Analyse ihrer Repräsentationen dabei helfen kann, fehlendes Wissen von Schwierigkeiten beim Ausdrücken dieses Wissens zu unterscheiden.
Quellen: arXiv cs.AI.