腾讯研究院：ChatGPT背后的核心技术是什么？大模型能否实现通用人工智能？

随着人工智能、量子计算、类脑智能、云原生、数字引擎、音视频等技术大规模模型的深入发展，新技术、新模式、新业态不断涌现。不断涌现。考虑到以上领域，我们策划了系列科普专栏《T-chat前沿热点问答》，以十问十答的形式，用通俗语言与大家交流最新、最新的前沿科技主题。您还可以提供建议，提出您感兴趣的问题，以便大家一起学习，继续复习知识，共同进步。

ChatGPT 是现象级热点。近期，笔者收到了来自各方的诸多提问。大家对它的技术、影响等内容都很感兴趣，所以我萌生了写这篇文章的想法。请专家和业界同仁随时指正。

ChatGPT 现在有多流行？

2022年11月30日 ChatGPT已成为全世界的热门话题。据Similarweb数据显示，今年1月，ChatGPT平均每天有约1300万独立访问者使用，比去年12月增加了一倍多。累计用户数已突破1亿，创造了互联网上最快过亿的应用程序记录，超过了此前TikTok在9个月内破亿的记录。

除了用户提出的许多奇怪问题在社交媒体上引起大量转发之外，ChatGPT 通过在各个领域大展拳脚，进一步增强了人气。宾夕法尼亚大学发现 ChatGPT 能够通过该校 MBA 课程的期末考试。 《自然》 1月24日，该杂志宣布，该杂志不能发表以人工智能工具为作者的文章。 《自然》表示作品责任由作者本人承担，人工智能工具无法承担该责任。据说ChatGPT还顺利通过了谷歌的编程面试，并收到了L3工程师的offer，年薪18.3万美元。

ChatGPT 背后的主要技术？

ChatGPT 是生成式 AI 的一种形式，Gartner 在 《2022年度重要战略技术趋势》 方面排名第一。 Gartner 预测，到 2025 年，生成式 AI 将占所有生成数据的 10%，但目前这一份额还不到 1%。

ChatGPT 由大型人工智能模型支持。这个技术点在去年腾讯研究院的报告中阐述过《2022十大数字科技前沿应用趋势》：目前的人工智能大多是针对特定场景应用进行训练，模型生成很难迁移到其他应用，属于“小模型”范畴。整个过程不仅需要大量的人工参数设置，还需要向机器提供海量的标注数据，降低了AI研发的效率，增加了成本。大型模型通常使用自监督学习方法在未标记的大型数据集上进行训练。那么，在其他场景的应用中，开发者只需要对模型进行微调或者使用少量的数据进行二次训练，就可以满足新的应用场景的需求。这意味着对大模型的改进可以惠及所有后续的小模型，大大提高AI研发的可用场景和效率。因此，大型车型成为该行业的重点投资方向。 Open AI、谷歌、Facebook、微软以及国内的百度、阿里巴巴、腾讯、华为、致远研究院等都推出了超大型模型。尤其是OpenAI GPT 3模型在翻译、问​​答、内容生成等领域的出色表现，让业界看到了实现通用人工智能的希望。 ChatGPT 当前版本是 GPT 3.5，它在 GPT3 的基础上进行了优化，并具有其他改进的功能。

ChatGPT 使用的基础技术之一是 Transformer。这从它的全名“Chat Generative Pre-trained Transformer”中也可以看出。 Transformer技术是近年来人工智能技术的最大亮点之一。它是一种利用谷歌2017年提出的注意力机制的深度学习模型。它可以根据每条输入数据的不同重要性分配不同的权重。 。 Transformer的精度和性能优于之前流行的CNN（卷积神经网络）和RNN（循环神经网络）等模型，极大地提高了模型训练的效果，使人工智能能够工作在更大的模型和更大的数据上。 ，在更强的算力基础上进一步提升能力。此外，它还具有强大的跨模态能力。它不仅在NLP（自然语言理解）方面表现出色，在语音和图像方面也展现出出色的表现。

ChatGPT 为什么会成功？

ChatGPT从技术研发到工程化再到点燃公众热情都是非常成功的经典案例。

技术创新

作为正在进行的开放人工智能研究的一部分，我们不断探索和引入新的技术路径。此次提出的强化方法极大地提高了模型的效果。在开放人工智能研究中，她在模型训练中展示了人类专家。一方面，专家帮助ChatGPT写出更符合人类习惯的答案。另一方面，它对生成的结果进行排序，通过这样的奖励机制实现模型的微调和优化。

组织文化

开放人工智能自成立以来一直致力于构建通用人工智能能力，并不断持续投入。这是 ChatGPT 成功的关键因素。在这一愿景下，吸引了大量高层次人才，在没有任何商业KPI的情况下进行研发，最终取得了重大突破。

反馈机制

在用户的帮助下，Open AI可以获取用户对模型使用质量和体验的反馈，形成从模型使用到反馈的闭环，进一步优化模型。此外，Open AI还举办了专门的反馈竞赛，鼓励用户对答案中的风险和危险、新的答案建议等进行反馈。参与者有机会赢得 500 美元的 API 积分，并可以领取匹配的奖品。

项目规划

影响一个行业的技术离不开其项目规划。 ChatGPT的问答形式和多轮对话很好地激发了公众的积极性和创造力。每个人都可以自由地表达自己感兴趣的话题，无论是幽默的还是严肃的，并且经常引起朋友圈和媒体的关注。包括之前推出的GPT3，其写消息、作诗、翻译、编码的能力也引起了公司内部的热议。这种与公众很好沟通的项目设计策略也值得学习。包括AlphaGo之前的围棋大战和Deepmind的蛋白质折叠问题解决，都是很好的话题和任务设置。

ChatGPT 开源吗？

它还没有开源。目前它是通过应用程序编程接口（API）调用提供的，目前还没有开源计划。

Open AI不开放，这一点被很多业内人士诟病。开源是多年来软件和互联网行业快速发展的主要推动力之一。开源的方式可以调动全世界开发者的积极性。任何人都可以下载源代码、使用它、优化它并与社区分享。这种举全公司之力进行创新的机制，大大加快了技术研究和产业化利用的进程。

至于ChatGPT为什么不开源，一些业内专家人士表示认可，因为AI技术仍然是一个黑匣子，其内部运作原理尚不清楚。如果代码是开源的，就很难避免以某种不利于社会的方式使用该技术。和人的方面。此外，由于Open AI已经放弃了非营利地位并接受了微软等公司的投资，因此从商业角度来看，它也将采用封闭的方式来支持整体模型和开放的应用接口。还开源了少量模型。丰富开发者生态。

ChatGPT 免费吗？

以后能赚钱吗？

ChatGPT 目前可供普通用户免费使用。

根据《财富》预计，2022年OpenAI营收将低于3000万美元，净亏损5.45亿美元。随着ChatGPT的流行，它的损失可能会继续增加，因为每次用户调用它，Open AI都会付出更多的计算资源和带宽成本。

当然，Open AI也开始了商业化尝试。 2023 年 2 月，OpenAI 宣布推出付费 ChatGPT Plus 订阅试点计划，价格为每月 20 美元。付费版本的功能包括跳过高峰队列、快速响应时间以及优先访问新功能和改进。

Open AI 预测，随着 ChatGPT 成为重要的获客工具，其收入将快速增长，预计 2023 年收入将达到 2 亿美元，2024 年将超过 10 亿美元。

此外，据报道微软正在洽谈向OpenAI投资约100亿美元，这也将其估值提升至290亿美元。此前，微软在2019年向OpenAI投资了10亿美元，给予其主要资金支持和Azure云计算支持。

ChatGPT 会取代搜索引擎吗？

短期来看，不会。从长远来看，通过集成创建新型搜索引擎是可能的。

当前的 ChatGPT 响应褒贬不一。他可以对很多问题给出简洁的答案，甚至可以写出符合初级规划师水平的产业规划报告。然而，ChatGPT不可避免地经常出现“严重”无意义的情况，因此其可靠性水平有待进一步提高。而且，目前ChatGPT知识库主要包含2021年9月之前的数据，缺乏新数据，这也严重限制了其提供新信息的能力。同时，Open AI还推出了WebGPT，可以在互联网上查找信息并提供信息资源，这将显着补充ChatGPT的实时信息资源，进一步优化响应。

根据搜索引擎的逻辑，选择权在于用户。搜索引擎通常会提供许多相关结果，并根据用户反馈不断优化搜索结果。近年来，搜索引擎也尝试了结果的唯一性，例如直接在搜索引擎中提供唯一的答案选项。然而，目前可用的唯一结果的数量相对有限，并且不可能进行多轮对话。

ChatGPT的推出给搜索引擎厂商带来了巨大的震撼，并激发了他们创造新的搜索体验。两位 Google 创始人就 ChatGPT 可能颠覆搜索引擎业务的潜力进行了多次讨论。谷歌首席执行官皮查伊表示，在不久的将来，它将推出类似于ChatGPT的大规模基于AI的语言模型以及由LaMDA支持的AI Bard对话服务，这将允许用户将其用作“搜索指南”。微软已经在Bing搜索引擎中添加了ChatGPT功能，并启动了小流量测试。百度还计划在3月份推出新功能，并在搜索引擎中添加类似ChatGPT的聊天机器人“文心一言”。

我们也可以看看ChatGPT自己的回答：

还有哪些与ChatGPT类似的模型和应用？

ChatGPT 是典型的大型 AIGC 模型。目前，国内外文本、代码、图像、视频、3D等领域不断涌现相应的生成模型。

目前，ChatGPT 的有力竞争对手是 Anthropic 最近推出的生成式 AI 模型 Claude。 Anthropic 于 2021 年由几位前 OpenAl 研究人员创立，包括 OpenAl 前研究副总裁 Dario Amodei、GPT-3 论文第一作者 Tom Brown 等人。据报道《金融时报》，截至 2022 年底，谷歌已向这家初创公司投资了约 3 亿美元。在其网站上，Anthropic 比 ChatGPT 更强调构建“可靠、可解释、可控的人工智能系统”。

腾讯混元大模型集成了CV（计算机视觉）、NLP（自然语言理解）和多模态理解能力。在MSR-VTT、MSVD等5个权威数据集中名列前茅。跨模态领域实现大满贯。 2022年5月，腾讯大型人工智能模型“混元”在CLUE（中文评测宝典）总评、阅读理解、大规模知识图谱三项榜单中排名第一，一举打破三项记录。飞出去。 12月，浑源推出国内首个低成本、可落地的万亿NLP模型，再次荣登自然语言理解CLUE任务榜首。混元采用千亿级热启动模型，最快仅用256张卡，一天即可完成万亿参数的混元-NLP 1T大型模型的训练。总训练成本仅为万亿模型直接冷启动训练的1/8。 图片来源：红杉资本《Generative AI: A Creative New World》

像ChatGPT这样的大模型能让我们实现通用人工智能吗？

自2020年6月包含1750亿个参数的GPT3推出以来，业界关于实现通用人工智能的讨论愈发激烈。正如微软首席执行官纳德拉最近在接受《华尔街日报》采访时所言，GPT 的发展并不是线性的，而是呈指数级变化。因此，相比GPT3，目前的GPT3.5已经展现出了更强的能力。业界普遍预测GPT4将在今年发布，并且将拥有更强大的通用功能。

但与此同时，我们必须清楚，AI并不是万能的。那就是无论AI多么强大，它解决的问题也只是人类面临的所有问题的一小部分。因为现实世界中有大量问题不是数学问题，无法通过计算来解决。人工智能目前找到解决方案的问题只是可量化问题的一小部分。

ChatGPT 可能会引发哪些社会或道德问题？

ChatGPT也面临着人工智能长期面临的问题，比如歧视等伦理问题，误用欺诈、诈骗等安全问题，政治谣言，虚假身份以及知识产权问题。近日，OpenAI表示正在考虑在ChatGPT中添加样本水印，这是监控模型可以识别的特殊标签，以减少模型滥用问题。

此外，为了回应公众对失业的普遍担忧，ChatGPT 在 LinkedIn 上分享了一篇帖子，写道：“人工智能不会取代你。你将被一个使用AI的人取代。”

ChatGPT的未来会带来哪些变化和新机遇？

ChatGPT自己的回答展示了它的典型发展路径，那就是作为人的陪伴机器人。

但更重要的是，ChatGPT未来将成为人机交互的新输入，这很可能会改变现有应用程序的交互方式，让用户能够使用软件和通话技能。例如，未来在文档编辑软件中，人们可以描述自己的需求，让软件直接生成文本内容，或者生成图形，甚至直接编辑图像。在编程方面，ChatGPT这种实时编程方式将改变传统的工作方式和应用交互规则，推动行业进入软件3.0的新阶段。

此外，ChatGPT未来或许还会有多元化的应用前景：

首先，对于现在又热又好看的数字人来说，像ChatGPT这样的模型必须提供对话选项，让数字人有有趣的灵魂，更好地陪伴和服务他人。同时，这种能力也可以内置到机器人的身体中，使未来的人形机器人更加智能，更加像人类。

其次，大量开发者可以利用ChatGPT等基础平台，根据各个行业和场景，在大模型的基础上优化模型，打造出各种满足用户需求的丰富应用，打造AI对话生态。例如国外流行的Jasper，可以通过微调GPT3模型来帮助用户编写营销文案。甚至有人以此为基础完成了十二万字的小说。 IBM、Airbnb、Autodesk等大公司都是其企业用户。普通用户可以免费试用 10,000 个单词的版本，然后您可以花费 29 美元订购 20,000 个单词，或者花费 59 美元订购生成 50,000 个单词的选项。

三是在教育、医疗、广告营销、电子商务、市场与战略咨询、企业服务、编码等专业服务领域成为更专业的人类助手。它不仅可以生成内容，还可以调用各种专业服务。技能，甚至取代一些入门级专业工作。在商业服务方面，2月8日，微软推出了基于ChatGPT技术的先进Teams产品。 ChatGPT可以帮助参与者自动生成会议纪要。即使不参加会议，智能审阅功能也可以帮助用户生成会议纪要和要点。 。 ChatGPT 还可以为用户提供个性化的时间线标记，以便快速查看共享和讨论的内容（如果同事在会议中提到过）。该服务 6 月份的费用为每月 7 美元，然后在 7 月份增加。 10 美元。谈到编写代码，特斯拉前 AI 总监 Andrej Karpathy 最近透露，他 80% 的代码现在由 AI (GitHub Copilot) 生成，准确率达到 80%。

第四个是与其他模态人工智能工具的组合创新。 ChatGPT与工具集成可以生成图像、文本生成视频，甚至未来可以直接生成3D模型，可以极大丰富UGC内容，成为内容产业化的核心。引擎。

未来，ChatGPT与人工智能、云计算等多种信息技术的融合创新，将创造出改变生产力曲线的工具，成为经济发展的新动力。

（作者：王强腾讯研究院高级专家、前沿技术研究中心主任）