研究揭示语言模型内部官能团知识结构

1. 13:00
   arXiv · cs.AI

   研究发现语言模型在说出官能团前已在内部形成结构化知识

   研究读取五个开源模型在覆盖92种分子、20种官能团的提示词上的内部表示，发现模型即使未经化学训练，也会按化学族组织官能团，并把化学差异编码为一致方向。基础模型仅58.5%的提示词能说出正确官能团，是五个模型中最低，但其错误多为答不出而非答错。化学微调会重组这一表示，使官能团而非提示词措辞占据主导，说明仅凭输出评估化学语言模型会低估其编码的化学信息。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。