工程与产品的胜利，深度剖析ChatGPT和聪明地设计基础架构 _ChatGPT

机器之心转载
来源：Suits and Hoodies

这里转载一篇深度剖析ChatGPT成功的一篇好文章：ChatGPT 实际上并不是普通人眼中的「黑科技」，而是持续开放科研的产物，是工程与产品的胜利。它将促使Infrastructure成为最大的赢家。

在这个 AI 时代，语言模型已经成为了人机交流的关键工具。而 ChatGPT 则是其中的佼佼者，这个由 OpenAI 训练的模型，以其卓越的理解和生成能力，成为了一个人人景仰的网红：所以第一篇写 ChatGPT ，抛砖引玉，仅代表个人意见，不代表现在或之前供职的企业的观点。

文章插图

太长了我懒得看
没关系，主要是四个观点：
ChatGPT 并不是黑科技，是持续开放科研的产物。
ChatGPT 是工程、产品的胜利。
ChatGPT 不会让人失业，反而会带来更多的机会。
Infrastructure 会是这一场仗当中的赢家，但是要聪明地设计Infra 。
有兴趣的读者可以进一步往下读。
ChatGPT 是持续开放科研的产物
ChatGPT 背后的技术，最主要的一篇文章是 2022 年 OpenAI 发表的论文 InstructGPT。InstructGPT 的核心思路是之前两条研究线路所带来的：一个是自然语言理解的大规模语言模型 LLM，另一个是带人类反馈的增强学习 RLHF 。
大规模语言模型 LLM 在前面几年方兴未艾，从 GPT 开始，往回可以推到 Bert ，这两种都是基于所谓的 Transformer 结构来设计的。而Transformer 的出现本身又是为了解决早期的序列模型（比如说LSTM 和 RNN）的问题所提出来的。很有意思的是这一系列模型多少都采取了不带太强结构的统计方法：“根据周边的词语来预测中间的词语”，或者“根据前面的文字来生成后面的词语” 。这和传统的基于语法树的方法很不一样，感兴趣考古的读者可以去看看 PCFG，计算语言学当中很经典的一个算法。
RLHF 也是一个近年以来比较流行的算法。增强学习最经典的书应该是 Sutton & Barto 所写的同名著作《Reinforcement Learning》。2004年，Pieter Abbeel 和吴恩达就利用 RL 提出了叫做 Apprenticeship Learning 的方法，来让机器学会复杂的动作，比如说让直升机进行空中转体：

文章插图

2017年开始DeepMind 的一系列工作（电子游戏、围棋等）让 RL 深入人心，ChatGPT 对于对话系统的训练也深得前面这些工作的影响。因此，整体而言，ChatGPT的一系列工作，都在前面有着很深的铺垫，应该说是站在开放科研的肩膀上做出的工作，其中的功底不得不让人叹服。这不是别人做出大模型之后，简单跟进说“我们可以做得更大”，而是在原有的基础上做更多创新的成果。
ChatGPT 是工程和产品的胜利
有一个问题：ChatGPT 的训练数据，是从哪里来的？
我们可以猜测，基础的语言模型，例如GPT-3，训练的数据来源有很多类似 LAION 这样的从网上抓取下来的数据。在此基础上， InstructGPT 的文章当中提到了很有意思的一点：
Starting with a set of labeler-written prompts and prompts submitted through the OpenAI API, we collect a dataset of labeler demonstrations.of the desired model behavior.
也就是说，OpenAI 前序所推出的 playground、GPT-3 API 等等，一边在进行产品和市场的适配的途中，另一方面也给后续的科研带来了大量的数据输入。根据 InstructGPT 的文章披露，当时 OpenAI 雇佣了约 40 名左右的标注人员来提供手工写的文字；这个数字在最近披露的报道中上升到了 1000 名左右。计算机领域有一个短语叫做 human in the loop，将一篇科研文章变成一个prototype，然后再将用户的体验、数据的回流、标注、再训练这个闭环做得非常精准，ChatGPT 在这一个领域当中体现出了高超的工程能力。
另外一个问题是，ChatGPT 为什么能够比其他的类似的聊天机器人更加不让人讨厌？
除了技术能力超群之外（ChatGPT 的会话质量的确超过之前的会话模型），我认为这和产品边界的定义是非常相关的。ChatGPT 的定位是很轻量级的“Chat”，所以它就算回答出错，也不像其他的产品（尤其是大厂的产品）那样让人讨厌，反而变成一种有趣的谈资。同时，最简的界面让人非常容易上手，“没事聊两句”也是一个不显得有科技产品的距离感的体验。甚至我家女儿也试图上去捉弄 ChatGPT：