研究发现语言模型在说出官能团前已在内部形成结构化知识

研究读取五个开源模型在覆盖92种分子、20种官能团的提示词上的内部表示，发现模型即使未经化学训练，也会按化学族组织官能团，并把化学差异编码为一致方向。基础模型仅58.5%的提示词能说出正确官能团，是五个模型中最低，但其错误多为答不出而非答错。化学微调会重组这一表示，使官能团而非提示词措辞占据主导，说明仅凭输出评估化学语言模型会低估其编码的化学信息。