读智能涌现： AI时代的思考与探索02第四次工业革命

1. 基础要素

1.1. 算力、数据和算法

• 1.1.1. 算力和数据是算法的底座，是为算法服务的前置条件

• 1.1.2. 算法是AI三要素的核心，决定着AI技术能否真正创造出赋能应用的价值，以及能创造多大的价值

  • 1.1.2.1. 算法依旧会处于AI三要素的核心位置

  • 1.1.2.2. 具体到AI领域，算法一般指最终实现“机器拟人”目标的运算策略和运算规则

1.2. 历经六十余年的漫长发展，AI领域累积了数量相当可观的算法财富

1.3. 在深度学习技术探索的早期，递归神经网络(RNN)、卷积神经网络(CNN)、长短期记忆人工神经网络(LSTM)是主要的代表性算法

1.4. 生成对抗网络(GAN)和成果惊人的预训练大模型(Transformer-Based)为基于深度学习思路的算法开启了新的发展空间

1.5. 演绎了垂直增长神话的ChatGPT，被广泛应用于安防、鉴权领域的人脸识别等

1.6. 如今，在感知智能领域，如语音识别、物体分类、行为识别等，AI都已达到甚至超越了人类的水平

1.7. 以现有算法训练出的AI在需要复杂推演能力和联想能力的任务场景中的表现还暂时达不到人类的水平

1.8. 现有算法的安全性和可解释性还有待提升

• 1.8.1. 由于是通过多层、复杂的神经网络进行训练，当神经网络叠加到一定的量级时，每一层网络分别能起到什么样的作用、带来哪些性能的变化，特别是涌现现象何以发生，成为很难解释的问题

• 1.8.2. 过程不可知往往意味着结果不可控，这自然会降低人类对AI算法的信任程度

• 1.8.3. 即便技术发展迅速，在算法的透明性、可解释性、因果性、安全、隐私与伦理等方面，AI算法也面临许多挑战

1.9. 算力也逐渐成为制约AI技术进化的关键问题

• 1.9.1. 算力是供给AI释放出自身威力的能源，其地位就好比石油、天然气之于工厂

• 1.9.2. 与AI技术的迅猛发展同步，其对算力能源的需求亦呈现出几何级的增长态势

2. 三则定律

2.1. 香农定律

• 2.1.1. 指出了信源编码的极限是信源的熵值，推理出信道容量与编码速率的表达式

• 2.1.2. 在此基础上引申出通信领域的三个极限：无损压缩极限、信道传输极限、有损压缩极限

• 2.1.3. 香农极限规定了人类目前的网络能力能实现的最大通信速度

2.2. 冯·诺依曼架构

• 2.2.1. 规范了现代计算机的基础结构和运行逻辑

• 2.2.2. 计算机由五个基本部分组成，具有程序存储、共享数据、顺序执行的特点

• 2.2.3. 遵循此架构设计出的计算机也存在着运算器和存储器之间通信延迟等问题，从而导致速度瓶颈的出现，这对深度学习的进一步发展构成了一定的限制

• 2.2.4. 深度学习需要的基于海量数据的Tensor Products（张量积）​、稀疏矩阵、布尔代数等要素在传统的冯·诺依曼架构下不易实现，异构计算、GPU（图形处理器）​、FPGA（现场可编程门阵列）​、AI ASIC（专用集成电路）等技术加速并彻底形成新架构成为大势所趋

• 2.2.5. 在新架构诞生后，更多新算法、新模型、新型芯片将随之衍生，这将是一个非常大的机会

2.3. 摩尔定律

• 2.3.1. 在半导体工艺走向极致化的今天，芯片晶体管数目的增长曲线已越来越平缓，摩尔定律正逐步走向终结

• 2.3.2. 尽管通过制程工艺的进步、架构的改进、电路设计的优化等方式，GPU的性能每年都可以翻倍提升，但很显然，算力提升的速度依旧赶不上AI成长所需的增速

• 2.3.3. 随着时间的推移，算力水平与智能科技发展之间的矛盾将会变得越发突出

2.4. 已无限逼近传统计算与通信理论所规划的极限

• 2.4.1. 一方面必须对基础的存、算、网架构进行升级，寻求突破

• 2.4.2. 另一方面也应在新的计算范式、新的计算架构、专用芯片研发等方面投入更多的资源，付出更多的努力

3. 数据

3.1. 数据是AI算法进步的养料，也是让AI更好地服务于现实产业的原料

3.2. 每分每秒，人类的生产、生活都在产生更多的数据，而吸收、理解这些数据的AI也会变得越发强大，之后再将变强的能力回馈给人类社会

3.3. 新数据每分每秒都在产生，永不停歇，但在物理世界中，存放数据的硬件空间是有限的

3.4. 研究者还要面对如何正确收集数据、找到有用数据，进而以具有针对性的AI技术解放特定行业生产力的问题

4. ChatGPT

4.1. ChatGPT是人类第一个通过图灵测试的智能体

• 4.1.1. 在它的身上看到了通用人工智能的雏形

4.2. 1981年8月12日，IBM公司推出了世界第一台采用了开放性架构的个人计算机PC 5150

• 4.2.1. 1982年12月，这款PC登上了《时代》周刊的封面，并被评选为“年度人物”

4.3. 2022年11月30日，OpenAI正式发布了有史以来用户增长最快的消费级AI应用程序ChatGPT

• 4.3.1. 2023年2月，ChatGPT也以“年度风云人物”的身份，出现在《时代》周刊的封面上

4.4. ChatGPT可以说是将复杂技术简化为无门槛产品，进而为大众所广泛接受的标杆之作

4.5. InstructGPT（人工智能语言模型）和利用人类反馈来强化学习，都在很大程度上让AI得以更好地判断用户意图，进而给出更准确的答案

4.6. 在诞生两个月后，就成为历史上最快突破1亿用户的科技应用

4.7. 在ChatGPT面世前的两年，生成式AI可谓进展最快的技术，比如在AI做图的赛道，就有DALL-E（美国图像生成系统）​、Midjourney、Stable Diffusion（两者均为AI绘画工具）等“种子选手”在你追我赶

4.8. ChatGPT确实是一次质变与跃升，是AI概念诞生至今六十余年的一座里程碑

4.9. 以麻省理工学院(MIT)的计算机科学家约瑟夫·维森鲍姆于1966年开发的聊天机器人程序Eliza（伊丽莎）为开端，计算机科学家对于人机对话的探索已进行半个多世纪

4.10. 在ChatGPT发布前，聊天机器人主要应用于聊天、客服等垂直领域，整体感觉更像是简单的工具或无聊时的玩具，常常答非所问，被用户戏称为“人工智障”​，这类聊天机器人前辈想要通过图灵测试，显然难如登天

4.11. 2016年，AlphaGo在围棋领域表现出的统治力首次将AI的可怕潜能展示于世人面前

4.12. 在认知层面，AI的性能实现了空前的提升，甚至让人看到了通用人工智能的影子

4.13. 全世界的计算机科研工作者都在探索，哪条技术路线通往真正的通用人工智能

4.14. GPT-3的诞生，让不少人意识到，大数据和超大模型可能是一个正确的方向

• 4.14.1. 后继者ChatGPT和GPT-4的不俗表现，让大家对这条路线的信心更加坚定

4.15. 当用于训练AI的数据规模不大时，效果还不明显

• 4.15.1. 规模达到一定程度后，就可能产生一些超出设计者预期的现象或能力，涌现得以发生

5. 生成式AI

5.1. GPT系列可以看作一个由大模型组成的AI操作系统

• 5.1.1. 与PC平台的Windows、MacOS、Linux，以及移动平台的iOS、Android具有相似的意义

• 5.1.2. 意味着下层的硬件、上层的应用都将被重新构建、塑造，进而形成全新的生态系统

5.2. PC时代的统治者是“Wintel联盟”​，即以英特尔x86处理器为核心的硬件生态，搭配以微软Windows操作系统为核心的软件及服务生态

5.3. 到了移动时代，从智能手机、平板电脑到VR（虚拟现实）装备、AR（增强现实）装备、智能腕表，绝大多数硬件都以ARM架构（一种基于精简指令集计算机的处理器架构）的处理器为核心

• 5.3.1. 操作系统则以iOS和Android两大阵营为主

• 5.3.2. 还出现了影响力堪与操作系统相媲美的“超级应用”​，如微信、抖音等

5.4. 大模型时代

• 5.4.1. 并行计算能力超强、更适宜处理计算密集型任务的GPU的重要性凸显

• 5.4.2. 神经网络处理器(Neural-network Processing Unit, NPU)、现场可编程门阵列、专用集成电路推动着计算硬件系统的进化

• 5.4.3. 操作系统则可以是AI大模型本身，称为GPT-x或基础模型(Foundation Model, FM)

• 5.4.4. 大模型之上还可以有小模型和不同的插件，整合现有的App，发展新的功能，吸引新的用户

• 5.4.5. AI将成为每个人与每一台机器交互的界面，而用户不再需要对处理器、算力、存储给予过度的、不必要的关心，他们更在意的将是模型能够提供什么样的功能

5.5. 如果PC互联网的生态价值是1X，移动互联网的生态价值至少是10X，那么AI的生态价值或许在100X以上

6. 大模型时代

6.1. 层次

• 6.1.1. 新结构的底层仍旧是云，可能配备了数以万计的GPU或XPU（极限处理器）​，它们构成了算力基石

• 6.1.2. 往上一层是经典的IaaS层（Infrastructure as a Service，基础设施即服务，包括了计算、存储、网络、数据、安全等）​

• 6.1.3. 再往上是基础模型层(Foundational Mode)，又称MaaS层（Model as a Service，模型即服务）​

• 6.1.4. 在此之上有许多VFM（Vertical Foundational Model，垂直基础模型）​，比如，用于自动驾驶、蛋白质解析、智能教育、具身智能的

• 6.1.5. 垂直基础模型并非相互孤立、彼此隔绝，而是可以相互结合、形成对用户价值更高的应用—SaaS（Software as a Service，软件即服务）​

6.2. 大多数创新风口应该会出现在垂直基础模型层及其上的SaaS层

• 6.2.1. 在大模型时代，边缘的机会非常大，也非常多

6.3. 具体到部署端，模型并不是越大越好，而是越小越快越好

• 6.3.1. 让AI能够在最短的时间内对交通状况做出最佳的判断，延时越短，效果就越好，而不是赋予驾车的AI以写诗作曲、生成影像的功能

6.4. 在大模型时代，操作系统一家独大的可能性不大

• 6.4.1. 因AI而生的App可以接入不同的系统，结合不同的基础大模型

6.5. 一个积极的变化是，以往开发任何应用都需要大规模的数据，现在依托预训练模型，数据的调用已不成问题，因而每个企业只需要结合自己的专有数据做精调训练(Fine Tuning)和提示工程(Prompt Engineering)，就能以比过去更少的投入获得更好的反馈与更高的回报

6.6. 全球每一年产生的数据量大约是上一年的1.26倍，增长速度超出了摩尔定律

• 6.6.1. 其中大部分数据可能由非中文语种产生

• 6.6.2. 对于训练中文大模型来说，现在乃至以后都不算是限制

  • 6.6.2.1. 可以用英文及其他语种的数据来训练中文大模型

  • 6.6.2.2. 用于训练大模型的数据远不只文本，还包括视频、语音等多模态数据

6.7. 不只是源自信息世界的数据，物理世界（自动驾驶车辆、机器人、边缘设备、各种工业设施等）​，生物世界（基因组学、细胞组学、人类的大脑器官等）的各种数据都可以转变为Token（词元）​，供AI持续学习

6.8. 现在绝大部分被纳入统计的数据是由人类和各种机器、传感器产生的数据，这些只是浮在海面上的冰山一角，物理世界中还有更多数据暂时处于海面以下

6.9. 比获取数据更重要的是怎样用好数据

• 6.9.1. 团队不仅在技术层面及时调试、优化，还雇用了很多人对数据做各种标注，再加上纳入了人类反馈的强化学习

  • 6.9.1.1. 相当于我们与ChatGPT的每轮对话都能让它变得更聪明

6.10. 除了保障用于模型训练的算力、数据和算法，边际环节也很重要

6.11. 在围绕AI展开的新一轮科技长跑的进程中，中国科技界与“世界顶尖”之间的差距可能更多地体现在高端计算芯片、算法系统和一些大的平台级技术方面

• 6.11.1. 中国在PC互联时代落后于世界，在移动互联时代实现了特定领域（数字支付、短视频等）领先于世界