爱丁堡大学博士生，硕士毕业于哥伦比亚大学，本科毕业于北京大学
与 彭昊，**Tushar Khot**
在艾伦人工智能研究院 (Allen Institute for AI) 共同完成英文原稿
与 剑桥大学郭志江 共同翻译为中文
感谢 上海交通大学何俊贤，加州大学洛杉矶分校鲁盼，达特茅斯学院刘睿博 对初稿的讨论与建议。
感谢 Raj Ammanabrolu (Allen Institute for AI), Peter Liu (Google Brain), Brendan Dolan-Gavitt (New York University), Denny Zhou (Google Brain) 对终稿的讨论和建议，他们的建议极大程度上增加了本文的完整度。
英文版完稿于 2022 年 12 月 11 日，中文版完稿于 2022 年 12 月 18 日。
其他版本: [pdf] [Arxiv] [英文原版] [学术引用]
在推特上与作者互动
初次翻译，哪里没写好，不地道的地方，还请邮件帮忙指出
转发请在文章的开头标明出处，而不是在结尾列一行小字
https://embed.notionlytics.com/wt/ZXlKd1lXZGxTV1FpT2lJek5qQXdPREZrT1RGbFl6STBOV1l5T1RBeU9XUXpOMkkxTkRVM016YzFOaUlzSW5kdmNtdHpjR0ZqWlZSeVlXTnJaWEpKWkNJNklrTnlVbFp3WkVOMWEyRnJNblU1U0hWVVdXUjNJbjA9
最近，OpenAI的预训练模型ChatGPT给人工智能领域的研究人员留下了深刻的印象和启发。毫无疑问，它又强又聪明，且跟它说话很好玩，还会写代码。它在多个方面的能力远远超过了自然语言处理研究者们的预期。于是我们自然就有一个问题：ChatGPT 是怎么变得这么强的？它的各种强大的能力到底从何而来？在这篇文章中，我们试图剖析 ChatGPT 的突现能力（Emergent Ability），追溯这些能力的来源，希望能够给出一个全面的技术路线图，来说明 GPT-3.5 模型系列以及相关的大型语言模型是如何一步步进化成目前的强大形态。
我们希望这篇文章能够促进大型语言模型的透明度，成为开源社区共同努力复现 GPT-3.5 的路线图。
Recently, the field has been greatly impressed and inspired by OpenAI’s ChatGPT. It is undoubtedly clever, capable, and very fun to talk to. Its multi-faceted abilities are significantly beyond many NLP researchers’ and practitioners’ expectations based on the impression of (not-that-strong) original GPT-3. The natural question is how ChatGPT gets there, and where these fantastic abilities come from. In this post, we try to dissect the emergent abilities and trace them to their sources, hoping to give a comprehensive roadmap about how the GPT-3.5 model family, along with related large language models, evolved to their current forms.
We hope this post can promote the transparency of large language models and serve as the roadmap for the community’s ongoing efforts of reproducing GPT-3.5.
目录
多年以后，面对行刑队，奥雷里亚诺·布恩迪亚上校将会回想起父亲带他去见识冰块的那个遥远的下午**。** —— 《百年孤独》 加西亚·马尔克斯