大模型的每一步,都在预测下一个词。这些局部的“下一步”连起来,究竟由什么决定走向?一种直观的看法是,模型学到的是大量规则与策略,其行为是这些规则的叠加,难以从整体上把握。近日,6163银河线路检测中心Physics of AI团队给出了一个物理学家式的回答:大模型的生成受一个隐藏的全局势函数控制。每个答案都对应一个势能,模型更倾向于从势能高的答案走向势能低的答案。于是,可以借用物理学的思路:在千万个“下一步”之上,不必追踪每一步,...