Según un estudio de cinco modelos de código abierto, los modelos de lenguaje pueden codificar información sobre grupos funcionales moleculares aunque no logren identificarlos en sus respuestas. Los investigadores examinaron las representaciones internas asociadas a indicaciones sobre 92 moléculas que abarcaban 20 grupos funcionales y descubrieron que los modelos organizaban esos grupos de maneras químicamente significativas.
El estudio pone de relieve la diferencia entre lo que un modelo representa internamente y lo que dice. Por ejemplo, ante la pregunta de cuál es el grupo funcional principal de 1-fluorobutano, un modelo podría responder «el grupo alquino» en vez de «fluoruro de alquilo». La respuesta por sí sola no permite saber si el modelo no reconoció el flúor o si lo reconoció, pero no consiguió expresar correctamente ese conocimiento.
Los investigadores evaluaron cinco modelos de 8.000 millones de parámetros: un modelo base de propósito general, tres modelos entrenados en química y un modelo destilado para el razonamiento. Compararon las respuestas generadas por los modelos con las representaciones de estados ocultos extraídas de cada capa. El modelo base nombró el grupo correcto en el 58,5 % de las indicaciones, la menor precisión de los cinco, pero sus representaciones internas seguían reflejando familias de grupos funcionales y diferencias químicas coherentes.
Esas representaciones incluían relaciones entre estructuras afines. Por ejemplo, el cambio de un tioéter a un tiol, aplicado a un éter, apuntaba hacia un alcohol en el espacio de representación de los modelos. Los investigadores también informan de que la información sobre los grupos funcionales surgía con claridad en las capas intermedias, donde las representaciones pasaban de reflejar la redacción de la indicación a reflejar el grupo en sí.
Los resultados sugieren que el ajuste fino con datos de química puede reorganizar información química ya existente para que los grupos funcionales cobren mayor relevancia en las representaciones del modelo, en lugar de limitarse a añadir conocimientos que no estaban presentes. Por ello, los autores sostienen que evaluar los modelos de lenguaje químico únicamente por sus respuestas escritas puede llevar a subestimar la información que codifican, y que analizar sus representaciones puede ayudar a distinguir entre la falta de conocimientos y la dificultad para expresarlos.
Fuentes: arXiv cs.AI.