ChatGPT 的工作原理：ChatGPT 的作用是什么以及它为何起作用？

ChatGPT 的基本概念非常简单。从网络、书籍等中人类生成的文本的大量样本开始。然后训练神经网络生成“这样的”文本。具体来说，通过“提示”启用它，然后继续“按照训练的方式”生成文本。

正如我们所见，ChatGPT 中真正的神经网络由非常简单的元素组成，尽管有数十亿个元素。神经网络的基本功能也非常简单，本质上是通过它创建的每个新单词（或单词的一部分）的元素“传递一次输入”（无循环等）。

但令人惊讶的是，这个过程可以成功地生成“出现”在互联网和书籍中的文本。它不仅仅是连贯的人类语言，它还使用它“所提示的”“读到的”内容“说一些东西”。它并不总是说“全球有意义”的东西（或对应于正确的计算） - 因为（例如，无法访问Wolfram|阿尔法的“计算超能力”）它只是基于培训材料中的内容“听起来像是” “， 它说。

ChatGPT 的特殊设计使其颇具说服力。 但最终（至少在它可以使用外部工具之前）ChatGPT“只是”从它收集的“传统智慧统计数据”中提取出“统一的文本线索”。 但令人惊讶的是，最终的结果是如此人性化。正如我所讨论的，这表明了一些至少在科学上非常重要的事情：人类语言（及其背后的思维模式）在某种程度上比我们想象的更简单、更“类似法律”。 ChatGPT 间接发现了这一点。但我们可以使用语义语法、计算语言等显式地公开它。

ChatGPT 在生成文本方面做得非常出色，而且结果通常与我们人类非常相似。那么这是否意味着 ChatGPT 就像大脑一样工作？其背后的人工神经网络架构最终是以大脑的理想化为模型的。此外，当我们人类产生语言时所发生的事情的许多方面似乎都是相似的。

在训练（即学习）方面，大脑和当前计算机的不同“硬件”（也许还有一些未开发的算法思想）迫使ChatGPT使用可能与大脑完全不同的方法。在某些方面效率低得多）策略。 还有一件事：即使与典型的算法计算不同，ChatGPT 中也没有“循环”或“数据重新计算”。这不可避免地限制了它的计算能力——即使与今天的计算机相比，但肯定与大脑相比。

目前还不清楚如何“解决这个问题”并仍然保持以合理效率训练系统的能力。但这样做想必会让未来的 ChatGPT 做更多“脑力的事情”。当然，大脑有很多事情做得不好——尤其是在不可约计算方面。对于这些，Brain 和 ChatGPT 之类的东西都必须寻求“外部工具”——比如Wolfram的语言。

但就目前而言，看到 ChatGPT 能够做到的事情令人兴奋。 这是基本科学事实的一个很好的例子，即大量简单的计算元素可以做出非凡和意想不到的事情。 但它也为我们两千年来提供了最好的动力，让我们更好地理解人类状况的核心特征，即人类语言的基本特征和原则及其背后的思维过程。

转载自AI研究局，编辑：图灵人工智能