ChatGPT 的工作原理：在基础训练之上

训练 ChatGPT 的很大一部分工作就是向它“展示”大量来自网络、书籍等的现有文本。但事实证明，还有另一个看似重要的部分。

一旦完成了对原始语料库的“原始训练”，ChatGPT 中的神经网络就可以开始生成自己的文本、继续提示等。然而，虽然结果通常看起来合理，但它们往往- 尤其是对于较长的文本 - 以通常非常非人类的方式“行走”。这不是您可以轻易检测到的东西，例如通过对文本进行传统统计。但这是真正阅读文本的人很容易注意到的。

构建 ChatGPT 的主要思想之一是，在“被动阅读”网络之类的东西之后，还有另一个步骤：让实际的人主动与 ChatGPT 交互，查看它产生的内容并实际给予反馈“如何一个好的聊天机器人”。

但是神经网络如何使用这种反馈？第一步只是让人类评估神经网络的结果。但随后建立了另一个神经网络模型来尝试预测这些评级。但是现在，这个预测模型可以在原始网络上运行——基本上作为损失函数，本质上是让网络通过人类反馈进行“调整”。实践中的结果似乎对于系统成功产生“人类- 总体而言，有趣的是，“经过初始训练”的网络似乎只需要很少的“戳”即可使其在某个方向上有效地发展。人们可能会认为，为了让网络表现得好像“学到了新东西”，它必须运行训练算法、调整权重等等。

但事实并非如此。相反，您基本上只需告诉 ChatGPT 一些内容作为您提供给它的提示的一部分，然后它就可以在生成文本时成功使用您告诉它的内容。我认为这再次成为理解 ChatGPT“真正做什么”以及它如何与人类语言和思维结构相关的重要线索。

这绝对有一些类似于人类的东西：至少在它经过所有预训练之后，你可以告诉它一些东西，它可以“记住” - 至少“足够长”来使用它。它生成一个文本。那么在这种情况下会发生什么呢？

它可能是“任何你能看出的东西都已经在那里了”——你只需将它指向正确的地方即可。但这似乎不可靠。相反，似乎更有可能的是，元素已经存在，但细节是由“这些元素之间的路径”之类的东西定义的，这就是你告诉它的内容。

事实上，就像人类一样，如果你告诉它一些奇怪的、意想不到的、完全不适合它所知道的框架的东西，它似乎无法成功地“整合”这一点。只有当它基本上以相当简单的方式运行在已有的框架之上时，它才能“集成”它。

还值得再次指出的是，神经网络可以“接收”的内容不可避免地存在“算法限制”。告诉它“肤浅”的规则，例如“它会走向那个”，神经网络可能能够很好地表示和重现这些规则 - 事实上，它从语言中“已经知道”的内容将给它一个直接的模式跟随。

但是如果你试图给它一个实际的“深度”计算规则，涉及许多潜在的不可简化的计算步骤，它是行不通的。 （请记住，在每一步中，它总是将数据“传输”到其网络中；除了生成新令牌之外，它从不循环。）

当然，网络可以学习特定的“不可约”计算答案。但只要数字可以组合，这种“查找表”方法就行不通。 所以，是的，就像人类一样，神经网络是时候“伸出援手”并使用实际的计算工具了。 （是的，Wolfram|Alpha 和 Wolfram 语言只适合，因为它们是为了“谈论世界上的事物”而构建的，就像语言模型的神经网络一样）。