bob客户端下载UCL汪军呼吁创新：后ChatGPT通用人工智能理论及其应用
bob客户端下载本文由 UCL 汪军教授撰写，他呼吁我们不仅要复制ChatGPT的成功，更重要的是在以下人工智能领域推动开创性研究和新的应用开发。
*本文原为英文写作，中文翻译由 ChatGPT 完成，原貌呈现，少数歧义处标注更正（红色部分）。英文原稿见附录。笔者发现 ChatGPT 翻译不妥处，往往是本人才疏英文原稿表达不够流畅，感兴趣的读者请对照阅读。
ChatGPT 最近引起了研究界、商业界和普通公众的关注。它是一个通用的聊天机器人，可以回答用户的开放式提示或问题。人们对它卓越的、类似于人类的语言技能产生了好奇心，它能够提供连贯、一致和结构良好的回答。bob客户端下载由于拥有一个大型的预训练生成式语言模型，它的多轮对话交互支持各种基于文本和代码的任务，包括新颖创作、文字游戏和甚至通过代码生成进行机器人操纵。这使得公众相信通用机器学习和机器理解很快就能实现。
如果深入挖掘，人们可能会发现，当编程代码被添加为训练数据时，模型达到特定规模时，某些推理能力、常识理解甚至思维链（一系列中间推理步骤）可能涌现出来。虽然这个新发现令人兴奋，为人工智能研究和应用开辟了新的可能性，但它引发的问题比解决的问题更多。例如，这些新兴涌现的能力能否作为高级智能的早期指标，或者它们只是幼稚模仿人类行为？继续扩展已经庞大的模型能否导致通用人工智能（AGI）的诞生，bob客户端下载还是这些模型只是表面上具有受限能力的人工智能？如果这些问题得到回答，可能会引起人工智能理论和应用的根本性转变。
因此，我们敦促不仅要复制 ChatGPT 的成功，更重要的是在以下人工智能领域推动开创性研究和新的应用开发（这并不是详尽列表）：
归纳推理是一种推理类型，我们根据过去的观察来得出关于世界的结论。机器学习可以被松散地看作是归纳推理，因为它利用过去（训练）数据来提高在新任务上的表现。以机器翻译为例，典型的机器学习流程包括以下四个主要步骤：
如上所示，传统机器学习将每个特定任务的训练隔离开来。因此，对于每个新任务，必须从步骤 1 到步骤 4 重置并重新执行该过程，失去了来自先前任务的所有已获得的知识（数据、模型等）。例如，如果要将法语翻译成中文，则需要不同的模型。
在这种范式下，机器学习理论家的工作主要集中在理解学习模型从训练数据到未见测试数据的泛化能力。例如，一个常见的问题是在训练中需要多少样本才能实现预测未见测试数据的某个误差界限。我们知道，归纳偏差偏置（即先验知识或先验假设）是学习模型预测其未遇到的输出所必需的。这是因为在未知情况下的输出值完全是任意的，如果不进行一定的假设，就不可能解决这个问题。著名的没有免费午餐定理进一步说明，任何归纳偏差都有局限性；它只适用于某些问题组，如果所假设的先验知识不正确，它可能在其他地方失败。
虽然上述理论仍然适用，但基础语言模型的出现可能改变了我们对机器学习的方法。新的机器学习流程可以如下（以机器翻译问题为例，见图 1）：
1.API 访问其他人训练的基础语言模型，例如训练有包括英语 / 中文配对语料在内的多样文档的模型。
2.根据少量示例或没有示例，为手头任务设计合适的文本描述（称为提示），例如提示Prompt = {几个示例 E ➔ C}。
3.在提示和给定的新测试数据点的条件下，语言模型生成答案，例如将 E’ 追加到提示中并从模型中生成 C’。
如步骤 1 所示，基础语言模型作为一个通用一刀切的知识库。步骤 2 中提供的提示和上下文使基础语言模型可以根据少量演示实例自定义以解决特定的目标或问题。虽然上述流程主要局限于基于文本的问题，但可以合理地假设，随着跨模态（见第 3 节）基础预训练模型的发展，它将成为机器学习的标准。这可能会打破必要的任务障碍，为通用人工智能（AGI） 铺平道路。
但是，确定提示文本中演示示例的操作方式仍处于早期阶段。从一些早期的工作中，我们现在理解到，演示样本的格式比标签的正确性更重要（例如，如图 1 所示，我们不需要提供翻译示例，但只需要提供语言说明），但它的可适应性是否有理论上的限制，如 “没有免费的午餐” 定理所述？提示中陈述的上下文和指令式的知识能否集成到模型中以供未来使用？这些问题只是开始探讨。因此，我们呼吁对这种新形式的上下文学习及其理论限制和性质进行新的理解和新的原则，例如研究泛化的界限在哪里。
我们正处于一个令人兴奋的时代边缘，在这个时代里，我们所有的语言和行为数据都可以被挖掘出来，用于训练（并被巨大的计算机化模型吸收）。这是一个巨大的成就，因为我们整个集体的经验和文明都可以消化成一个（隐藏的）知识库（以人工神经网络的形式），以供日后使用。实际上，ChatGPT 和大型基础模型被认为展示了某种形式的推理能力，甚至可能在某种程度上理解他人的心态（心智理论）。这是通过数据拟合（将掩码语言标记预测作为训练信号）和模仿（人类行为）来实现的。然而，这种完全基于数据驱动的策略是否会带来更大的智能还有待商榷。
为了说明这个观点，以指导一个代理（智能体）如何下棋为例。即使代理（智能体）可以访问无限量的人类下棋数据，仅通过模仿现有策略来生成比已有数据更优的新策略将是非常困难的。但是，使用这些数据，可以建立对世界的理解（例如，游戏规则），并将其用于 “思考”（在其大脑中构建一个模拟器，以收集反馈来创建更优的策略）。这突显了归纳偏置的重要性；与其单纯地采用蛮力方法，要求学习代理（智能体）具有一定的世界模型以便自我改进。
因此，迫切需要深入研究和理解基础模型的新兴能力。除了语言技能，我们主张通过研究底层机制来获得实际推理能力。一个有前途的方法是从神经科学和脑科学中汲取灵感，以解密人类推理的机制，并推进语言模型的发展。同时，建立一个扎实的心智理论可能也需要深入了解多智能体学习及其基本原理。
人类语言所发展出的隐式语义对于基础语言模型来说至关重要。如何利用它是通用机器学习的一个关键话题。例如，一旦语义空间与其他媒体（如照片、视频和声音）或其他形式的人类和机器行为数据（如机器人轨迹 / 动作）对齐，我们就可以无需额外成本地为它们获得语释能力。这样，机器学习（预测、生成和决策）就会变得通用和可分解。然而，处理跨模态对齐是我们面临的一个重大难题，因为标注关系需要耗费大量的人力。此外，当许多利益方存在冲突时，人类价值观的对齐变得困难。
ChatGPT 的一个基本缺点是它只能直接与人类进行交流。然而，一旦与外部世界建立了足够的对齐，基础语言模型应该能够学习如何与各种各样的参与者和环境进行交互。这很重要，因为它将赋予其推理能力和基于语言的语义更广泛的应用和能力，超越了仅仅进行对话。例如，它可以发展成为一个通用代理（智能体），能够浏览互联网、控制计算机和操纵机器人。因此，更加重要的是实施确保代理（智能体）的响应（通常以生成的操作形式）安全、可靠、无偏和可信的程序。
ChatGPT 使用上下文学习和提示工程来在单个会话中驱动与人的多轮对话，即给定问题或提示，整个先前的对话（问题和回答）被发送到系统作为额外的上下文来构建响应。这是一个简单的对话驱动的马尔可夫决策过程（MDP）模型：
虽然有效，但这种策略具有以下缺点：首先，提示只是提供了用户响应的描述，但用户真正的意图可能没有被明确说明，必须被推断。也许一个强大的模型，如之前针对对话机器人提出的部分可观察马尔可夫决策过程（POMDP），可以准确地建模隐藏的用户意图。
其次，ChatGPT 首先以拟合语言的生成为目标使用语言适应性进行训练，然后使用人类标签进行对话目标的训练 / 微调。由于平台的开放性质，实际用户的目标和目的可能与训练 / 微调的奖励不一致。为了检查人类和代理（智能体）之间的均衡和利益冲突，使用博弈论的视角可能是值得的。
正如 ChatGPT 所证明的那样，我们相信基础语言模型具有两个独特的特点，它们将成为未来机器学习和基础语言模型应用的推动力。第一个是其优越的语言技能，而第二个是其嵌入的语义和早期推理能力（以人类语言形式存在）。作为接口，前者将极大地降低应用机器学习的入门门槛，而后者将显著地推广机器学习的应用范围。bob客户端下载
如第 1 部分介绍的新学习流程所示，提示和上下文学习消除了数据工程的瓶颈以及构建和训练模型所需的工作量。此外，利用推理能力可以使我们自动分解和解决困难任务的每个子任务。因此，它将大大改变许多行业和应用领域。在互联网企业中，基于对话的界面是网络和移动搜索、推荐系统和广告的明显应用。然而，由于我们习惯于基于关键字的 URL 倒排索引搜索系统，改变并不容易。人们必须被重新教导使用更长的查询和自然语言作为查询。此外，基础语言模型通常是刻板和不灵活的。它们缺乏关于最近事件的当前信息。它们通常会幻想事实，并不提供检索能力和验证。因此，我们需要一种能够随着时间动态演化的即时基础模型。
汪军，伦敦大学学院（UCL）计算机系教授，上海数字大脑研究院联合创始人、院长，主要研究决策智能及大模型相关，包括机器学习、强化学习、多智能体，数据挖掘、计算广告学、推荐系统等。已发表 200 多篇学术论文，出版两本学术专著，多次获得最佳论文奖，并带领团队研发出全球首个多智能体决策大模型和全球第一梯队的多模态决策大模型。
机器之心将于3月21日在北京举办「ChatGPT 及大模型技术大会」，为圈内人士提供一个专业、严肃的交流平台，围绕研究、开发、落地应用三个角度，探讨大模型技术以及中国版 ChatGPT 的未来。
届时，机器之心将邀请大模型领域的知名学者、业界专家担任嘉宾，通过主题演讲、圆桌讨论、QA、现场产品体验等多种形式，与现场观众讨论大模型及中国版 ChatGPT 等相关话题。
本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。