ChatGPT如何运作：内部情况

作者：史蒂芬沃尔弗拉姆（Stephen Wolfram）计算机科学家英美，物理学家。他就是 Mathematica 的首席设计师，《一种新科学》的作者。

ChatGPT 自动生成人类可读文本的能力令人惊叹且出乎意料。但它是如何做到的呢？是否可以？我的目标是让您大致了解 ChatGPT 的内部情况，然后看看为什么它能如此出色地生成我认为有用的文本。 首先我要说的是，我将重点关注方向上正在发生的事情，虽然我将介绍一些技术细节，但我不会深入研究它。 （我说的大意也适用于今天LLM和ChatGPT的“大语言模型”）。

首先要解释的是，ChatGPT 基本上总是尝试对当前存在的任何文本进行“合理的延续”，而“合理”的意思是“在看到人们在数十亿网页上所说的内容之后。” ，前面有一些东西 - 会写一些东西”。

所以，我们得到了文本“人工智能最好的事情是它的能力”。网络和数字书籍）并找到该文本的所有示例 - 然后看看如何随着时间的推移，该词会多次出现。

ChatGPT 有效地执行相同的操作，除了（我将解释）它没有出现。在文字文本中；它搜索“意味着匹配”的内容有点意义 。但最终结果是一个列表，排序后将出现的单词，以及“概率”。

请注意，当 ChatGPT 执行类似写帖子之类的操作时，它所做的只是重复询问“鉴于文本到目前为止，下一个词应该是什么？”——并且每次都添加一个词。 （更准确地说，正如我将解释的那样，它添加了可能是单词一部分的“符号”，因此有时它可以“创建一个新单词”）。

在每一步中，获取具有概率的单词列表。 但是哪些应该添加到您写的文章（或其他内容）中？人们可能会认为这个词是“最高”的词（即给出最高“概率”的词）。因为出于某种原因——也许有一天我们会对这一点有一个科学的理解——如果我们总是选择最上面的词，我们通常会得到“平淡”的文章，似乎没有“展示”任何东西。创造力”（尽管有时会逐字重复）。然而，如果有时（随机）我们选择一个较低的单词，我们会得到一篇“更有趣”的文章。

这里存在随机性，这意味着如果我们多次使用相同的提示，我们每次也会得到不同的文章。 而且，符合魔法的思想，有一个特殊的参数，叫做“温度”，它决定了较低的单词使用的频率，事实上，造纸。 0.8的“温度”似乎是最好的。 （值得强调的是，这里使用的不是“理论”；这只是在实践中发现的可能性的问题）。例如，“温度”的概念之所以存在，是因为它恰好使用了统计物理学中已知的指数分布，但不存在任何“物理”联系——至少到目前为止我们还没有想到。 )

在继续之前，我应该解释一下，出于讨论目的，我通常不会在 ChatGPT 上使用完整的系统；相反，我通常使用简单的 GPT-2 系统，它有一个很好的功能：它足够小，可以在标准台式计算机上运行。

所以，我向您展示的所有内容，包括沃尔弗拉姆语言（Wolfram Language）代码，您都可以直接在计算机上打开它。 （点击这里任意图片即可复制后面的代码——译者注：请参见文末“原文链接”，点击图片即可获取代码）。

比如上面的概率表就是这样得到的。首先，我们需要获取底层的“语言模型”神经网络：

稍后，我们将深入研究这个神经网络并讨论它是如何工作的。但现在我们可以将这个“网络模型”作为文本中的黑匣子应用，并要求从概率上计算模型认为应该选择的前五个单词：

这会将结果转换为清晰的格式。 “数据集”：

如果您重复“应用模型” - 在每一步将最高概率的单词（在此代码中定义为“决策”）添加到模型中，会发生什么：

如果继续，会发生什么？在这种情况下（“零温度”），很快就会出现一种相当混乱和重复的情况：

但是，如果不是总是选择“顶部”一词，有时会随机选择“非顶部”一词（“随机”） ”对应于“温度”0.8）？人们可以重建文本：

每次执行此操作时，都会有不同的随机选择，并且文本也会不同 - 就像这 5 个示例一样：

您必须证明即使在第一步中，有很多工作“下一个词”可供选择（温度0.8），尽管它脱落的概率非常快（是的，这个对数图中的直线对应于n-1的“幂律”衰减） ，这是语言的一般统计特征）：

那么如果我们继续下去会发生什么？这是一个随机的例子。比上面这个词的情况（零温度）要好，但还是有点奇怪：

这是用最简单的 GPT-2 模型（2019 年起）完成的。使用更新、更大的 GPT-3 模型，结果甚至更好。这是使用相同的“提示”（零温度）但使用最大的 GPT-3 模型生成的顶部文本：

这是具有“0.8 温度”的随机样本：