15． 第二代细胞和基因疗法

第二代细胞和基因疗法是该报告的最后一篇，ARK 预测第二代细胞和基因疗法可将肿瘤治疗的总潜在市场增加 20 倍以上。

时代的宠儿 — 深度学习

根据 ARK 的说法，深度学习可能是我们这个时代最重要的软件突破。根据 ARK 的研究，深度学习将在未来 15－20 年内为全球股票市值增加 30 万亿美元。

图 ｜ 深度学习是软件 2．0

报告认为，深度学习正在创造下一代计算平台，其中包括：

智能对话平台：在人工智能的支持下，智能扬声器在 2020 年回答了 1000 亿条语音命令，比 2019 年增长了 75％；

无人驾驶汽车：Waymo 的自动驾驶汽车已在 25 个城市（包括旧金山、底特律和凤凰城）收集了超过 2000 多万英里的真实世界行驶里程；

消费类应用程序：使用深度学习进行视频推荐的 TikTok，日活人数已经超过了 Snapchat 和 Pinterest 的总和。

图 ｜ 深度学习正在创造下一代计算平台

ARK 指出：尽管硬件和软件的进步，每年将人工智能培训成本降低 37％，但人工智能模型的规模却仍以每年 10 倍的速度增长，相比较培训成本的降低速度来讲这种规模增长的速度更快。因此，人工智能培训的总成本不断攀升。我们相信最先进的人工智能培训模型成本可能会增加 100 倍，从目前的大约 100 万美元增加到 2025 年的 1 亿美元。

图 ｜ 深度学习需要无限算力

深度学习还将在人工智能芯片领域创造繁荣。ARK 估计，在未来五年中，数据中心在人工智能处理器上的支出将增加四倍以上，从目前的每年 50 亿美元增加到 2025 年的 220 亿美元。

图 ｜ 深度学习正在创造 AI 芯片的繁荣

同时，ARK 预测人工智能将从视觉扩展到语言。报告指出：2020 年是会话式 AI 的突破年。人工智能系统首次能够以人类一样准确地理解并生成语言。会话式 AI 所需的计算资源是计算机视觉的 10 倍，并在未来几年会刺激相关领域的大量投资。

图 ｜ AI 正在从视觉扩展到语言

报告中最大胆的估计也许是，深度学习可以创造比互联网更大的经济价值。ARK 认为，深度学习将在未来 15－20 年内为股市的资本增加 30 万亿美元。

图 ｜ 深度学习可以创造比互联网更大的经济价值

引发关注的 GPT－3

除了上述的内容，Big Ideas 2021 的深度学习部分还使用了单独页面介绍了 GPT－3。

报告认为，AI 的每个领域都在进步，而自然语言处理和深度学习正是 AI 领域中发展最快的部分。GPT－3 是该领域最新的潮流引领者，它一出现就成为了每一个社交媒体讨论的话题。

图 ｜ OpenAI 的 GPT－3 是第一个能真正 “理解” 语言的 AI

GPT 是一种自动回归语言模型，由人工智能研究实验室 OpenAI 创建，使用深度学习来生成类似于人的文本。GPT－3 是 GPT 系列的第三代产品，被认为是迄今为止创建的最大的人工神经网络。该系列模型的工作方式类似于手机中的自动完成功能，可尝试预测人们输入中缺少的难题。

2019 年，OpenAI 发布了拥有 15 亿参数的 GPT－2，这是第一个具有超过 10 亿参数的自然语言模型，这在当时被人们认为是惊人的壮举。仅仅过了一年，OpenAI 就发布了 GPT－3，其参数高达 1750 亿，GPT－3 的诞生，颠覆了人们的既有认知。

GPT－3 可以生成推文、写诗、总结电子邮件、回答琐碎问题、翻译语言，甚至可以编写计算机程序。在这一过程中，它只需要获得很少的提示就能完成这些任务，其中一些技能甚至让专家们都措手不及。

尽管以前的语言模型也以类似的方式工作，但 GPT－3 可以执行以前模型做不到的事情，比如编写自己的计算机代码。更重要的是，它可以只用几个例子为特定的任务做准备，而不是像它的 “前辈们” 那样，需要成千上万个例子和数小时的额外训练。

而为推动研发我国自主的大规模预训练模型，2020 年 10 月，北京智源人工智能研究院、阿里巴巴、清华大学、中国人民大学、中科院、搜狗、智谱?AI、循环智能等单位科研骨干组成 “悟道” 联合攻关团队，启动了新型超大规模预训练模型研发项目 “悟道”，包括四类大规模预训练模型：

文源：以中文为核心的超大规模预训练语言模型 ；

文汇：面向认知的超大规模新型预训练模型；

文澜：超大规模多模态预训练模型；

文溯：超大规模蛋白质序列预训练模型。

其中， 文源：以中文为核心的超大规模预训练语言模型，第一阶段 26 亿参数规模的中文语言模型已于 2020 年 11 月 14 日发布；文汇：面向认知的超大规模新型预训练模型，已于 2021 年 1 月 11 日发布，文汇模型参数规模达 113 亿，仅次于 DALL?E 模型的 120 亿参数量，是目前我国规模最大的预训练模型，并已实现与国际领先预训练技术的并跑。

下一步，“悟道” 团队将加快四类大规模预训练模型的研发进度。特别是 “文汇” 模型，未来将着力在多语言、多模态条件下，提升完成开放对话、基于知识的问答、可控文本生成等复杂认知推理任务的能力，使其更加接近人类水平。

身处于一个科技创新的时代中，一行行代码，一串串数字，背后都蕴藏着无穷的力量。正如 Big Ideas 2021 报告中所说，深度学习可以创造比互联网更大的经济价值，并将在未来 15－20 年内为股市的资本增加 30 万亿美元。以 GPT－3 为代表的 AI 前沿发展方向，也定将开启一个全新的智能时代。