Selon une étude portant sur cinq modèles open source, les modèles de langage peuvent encoder des informations sur les groupes fonctionnels moléculaires même lorsqu’ils ne parviennent pas à les identifier dans leurs réponses. Les chercheurs ont examiné les représentations internes associées à des invites portant sur 92 molécules réparties entre 20 groupes fonctionnels et ont constaté que les modèles organisaient ces groupes d’une manière chimiquement significative.
L’étude met en évidence un écart entre ce qu’un modèle représente en interne et ce qu’il exprime. Par exemple, à la question de savoir quel est le groupe fonctionnel principal du 1-fluorobutane, un modèle pourrait répondre « le groupe alcyne » au lieu de « fluorure d’alkyle ». Une réponse à elle seule ne permet pas de savoir si le modèle n’a pas reconnu le fluor ou s’il l’a reconnu, mais n’a pas réussi à exprimer correctement cette connaissance.
Les chercheurs ont évalué cinq modèles de 8 milliards de paramètres : un modèle de base à usage général, trois modèles entraînés en chimie et un modèle distillé pour le raisonnement. Ils ont comparé les réponses générées par les modèles aux représentations d’états cachés extraites à chaque couche. Le modèle de base a nommé le groupe correct dans 58,5 % des invites, soit le taux de précision le plus faible des cinq modèles, mais ses représentations internes reflétaient tout de même les familles de groupes fonctionnels et des différences chimiques cohérentes.
Ces représentations incluaient des relations entre des structures apparentées. Par exemple, dans l’espace de représentation des modèles, la transformation d’un éther en alcool indiquait la transition d’un thioéther en thiol. Les chercheurs rapportent également que l’information sur les groupes fonctionnels apparaissait nettement dans les couches intermédiaires, où les représentations passaient d’une prise en compte de la formulation de l’invite à une prise en compte du groupe lui-même.
Les résultats suggèrent que le réglage fin en chimie peut réorganiser les informations chimiques déjà présentes afin de rendre les groupes fonctionnels plus saillants dans les représentations d’un modèle, plutôt que d’ajouter simplement des connaissances qui en étaient absentes. Les auteurs avancent donc que l’évaluation des modèles de langage spécialisés en chimie à partir de leurs seules réponses écrites peut sous-estimer les informations qu’ils encodent, et que l’analyse des représentations peut aider à distinguer une absence de connaissances d’une difficulté à les exprimer.
Sources: arXiv cs.AI.