ChatGPT 的工作原理：语义语法和计算语言的力量

如何产生“有意义的人类语言”？过去我们可能认为这不是人脑。但现在我们知道 ChatGPT 神经网络可以做得很好。然而，这可能是我们唯一的选择，对于人类来说，没有什么比这更简单或更容易取得成功的了。

但我主要担心的是，ChatGPT 的成功隐含地揭示了一个重要的“科学”事实：人类语言的结构和简单性实际上比我们所知的更有意义，甚至可能有简单的规则。描述了语言是如何编译的。

正如我们上面所说，句法语法提供了组合与人类语言中不同话语相对应的单词的规则。但要理解其含义，我们还需要更进一步。如何做到这一点的一种方法是不仅考虑语言的句法语法，还要考虑语义语法。

出于语法目的，我们将事物定义为名词和动词。但出于语义目的，我们需要“更好的水平”。 因此，例如，我们可以识别“动作”的概念，以及“独立于位置保留其身份”的“对象”的概念。这些“语义观念”都有无数的具体例子。

但是，出于语义语法的目的，我们只会有某种一般规则，即“事物”可以“移动”。关于这一切是如何进行的，有很多话要说（我已经介绍了其中一些）。但我只是想在这里说几句话，指出一个可能的发展方向。

值得注意的是，即使一个句子根据语义语法规则是可能的，也不意味着它在实践中是完整的（甚至是可能的）。 “大象登上月球”无疑是“通过”了我们的语法，但它肯定不会出现在我们的世界中（至少现在还没有）——即使对于虚构的世界也不会。那么这就是公平的游戏。

当我们开始谈论“语义语法”时，我们很快就会问：“下面是什么？”它采用什么“世界模型”？句法语法实际上就是从单词构建语言。但语义语法必须有某种“世界模型”——某种充当“骨架”的东西，语言可以从真实的单词中派生出来。

直到最近，我们可能还认为（人类）语言是描述“世界模型”的唯一通用方式。它始于许多世纪前，主要基于数学。 但是现在有一种更传统的方法：计算语言。

嗯，这是我四十多年来一直致力于的一个大项目（现在是 Wolfram 语言的一部分）：开发一种准确的表示形式，可以谈论世界上一般情况下可以做的事情和抽象对象。关怀。例如，我们有城市、分子、图像和神经网络的符号表示，并且我们对这些事物的计算方式有深入的了解。

而且，经过几十年的工作，我们已经涵盖了许多这样的领域。但过去我们对“日常言语”的重视不够。在“我买了两公斤苹果”中，人们可以很容易地说（并对此进行营养和其他计算）“两公斤苹果”。但它（还）没有“我买了”的象征性表示。

这一切都归结为语义语法的理念——目标是为概念提供一个通用的符号“套件”，这将为我们提供有关事物可以与什么组合的规则，以及我们可以组合什么的规则。可能有。翻译成人类语言的“过程”提供了规则。

但是想象一下我们有这种“比喻语言”。我们该怎么办呢？我们可以开始做一些事情，比如创建“本地有意义的内容”。但最终我们可能想要更“有意义”的结果——意味着对世界上实际存在或发生的事情（也许在一个不一致的虚构世界中）进行更多的“计算”。

现在，在 Wolfram 语言中，我们拥有关于很多事物的大量计算机知识。但对于完全比喻性的语言，我们必须对世界上的事物进行额外的“计算”：如果某物从A地到B地，从B地到C地，然后从A地到C地。 C 处，以此类推。

给定比喻语言，我们可以用它来做出“独立陈述”。但我们也可以用它来询问有关世界的问题，“Wolfram|Alpha 风格”。或者我们可以用它来指代我们“想要成为那样的东西”，也许有一个外部执行机制。或者我们可以用它来发表声明——也许是关于现实世界，也许是关于想象的世界，无论是虚构的还是其他的。

人类语言从根本上来说是模糊的，不是因为它不受具体计算应用的“束缚”，而是因为它的含义是由每个说话者之间的“社会惯例”来定义的。但计算语言，就其本质而言，有一个基本条件——因为最终的定义总是可以“计算机可实现”。

人类语言通常可以避免某种歧义。 （当我们说“行星”时，是否存在系外行星等？）但在计算语言中，我们所做的所有区分都必须清晰且精确。

在计算语言中，用普通语言创建名称通常很方便。但它们在计算语言中的含义必须明确，并且可能会或可能不会涵盖使用普通人类语言的特定概念。

我们该如何找到正确的比喻语言的基础“本体”？嗯，这并不容易。这可能就是为什么自两千多年前亚里士多德的原始著作以来，在这些领域几乎没有什么进展的原因。但现在我们知道了很多关于如何通过计算来思考世界的知识，这很有帮助（而且从我们的物理项目和疯狂的想法中获得“基本形而上学”也没什么坏处）。

但这一切在 ChatGPT 的世界里意味着什么？从其训练来看，ChatGPT 有效地“组合”了（非常令人印象深刻的）大量语义语法。但它的成功让我们有理由相信，有可能以计算语言的形式开发出更完整的东西。而且，与我们迄今为止对 ChatGPT 内部结构的理解不同，我们可以期望计算语言被设计为易于人类理解。

当我们谈论语义语法时，我们可以比较两种逻辑。最初，二元逻辑是一组用人类语言表达的语法。但是（是的，两千多年后）当形式逻辑发展起来时，音节逻辑的基本结构现在可以用来建造“形式之塔”，包括现代数字电路的功能。此外，我们可以预期一般语义语法也是如此。

起初，它可能只能处理简单的模式，例如以文本格式呈现的模式。然而，一旦整个计算语言系统建立起来，我们就可以希望它能够用来建造“通用语义逻辑”的塔，让我们能够以清晰、形式化的方式处理各种类型的逻辑。以前从未出现过。事物，但通过人类语言处于“最低”水平，充满了歧义。

我们可以想象，计算语言的构造 - 以及语义语法 - 代表了事物的最终压缩。因为它使我们能够谈论事物的本质，而不必处理普通人类语言中存在的所有“倒置表达”。我们可以认为 ChatGPT 的主要优点是类似的：因为它在“以语义方式组合语言”的意义上也是“令人筋疲力尽的”，无论这个词的含义是什么。

如果我们用基本的计算机语言实现 ChatGPT 会发生什么？计算语言描述了什么是可能的。但可以添加的是“什么是流行”的感觉——例如，基于阅读网络上的所有内容。

然而，在底层，使用计算语言工作意味着像 ChatGPT 这样的东西可以立即集中访问最新工具，以利用潜在的不可约计算。这使得它成为一个系统，不仅可以“制作有效的文本”，而且可以解决这些文本是否对世界做出“真实”陈述的问题——或者它们应该是什么。