Os modelos de linguagem podem codificar informações sobre grupos funcionais moleculares mesmo quando não conseguem identificá-los em suas respostas, de acordo com um estudo de cinco modelos de código aberto. Os pesquisadores examinaram representações internas para prompts sobre 92 moléculas que abrangem 20 grupos funcionais e descobriram que os modelos organizavam esses grupos de maneiras quimicamente significativas.

O estudo destaca uma lacuna entre o que um modelo representa internamente e o que diz. Em um exemplo, um modelo solicitado a identificar o principal grupo funcional do 1-fluorobutano poderia responder “o grupo alcino” em vez de “fluoreto de alquila”. Uma resposta, por si só, não permite saber se o modelo não reconheceu o flúor ou se o reconheceu, mas não conseguiu expressar esse conhecimento corretamente.

Os pesquisadores avaliaram cinco modelos de 8 bilhões de parâmetros: um modelo base de uso geral, três modelos treinados em química e um modelo destilado para raciocínio. Compararam as respostas geradas pelos modelos com representações de estados ocultos extraídas em cada camada. O modelo base nomeou o grupo correto em 58,5% dos prompts, a menor precisão entre os cinco, mas suas representações internas ainda refletiam famílias de grupos funcionais e diferenças químicas consistentes.

Essas representações incluíam relações entre estruturas semelhantes. Por exemplo, a transformação de um tioéter em um tiol, aplicada a um éter, apontava para um álcool no espaço de representação dos modelos. Os pesquisadores também relatam que as informações sobre grupos funcionais emergiam de forma acentuada nas camadas intermediárias, nas quais as representações deixavam de refletir a formulação do prompt e passavam a refletir o próprio grupo.

Os resultados sugerem que o ajuste fino em química pode reorganizar informações químicas já existentes para tornar os grupos funcionais mais proeminentes nas representações de um modelo, em vez de simplesmente acrescentar conhecimentos que estavam ausentes. Os autores argumentam, portanto, que avaliar modelos de linguagem química apenas pelas respostas escritas pode levar a uma subestimação das informações que eles codificam e que a análise das representações pode ajudar a distinguir a falta de conhecimento da dificuldade de expressá-lo.

Fontes: arXiv cs.AI.