行业报告 | 清华大学AIGC发展研究1.0震撼发布！（技术+未来篇）

文 | BFT机器人

 

01

技术篇

深度学习进化史:知识变轨 风起云涌

已发生的关键步骤：

• 人工神经网络的诞生

• 反向传播算法的提出

• GPU的使用

• 大数据的出现

• 预训练和迁移学习

• 生成对抗网络 (GAN) 的发明

• 强化学习的成功应用

• 自然语言处理的突破

即将发生的关键步骤：

• 通用人工智能 (AGI) 全维适应

• 模型间的有效沟通与协作 共享协作

• 融合与共生人机共生

• 模型解释性 透明智慧

• 价值同构，道德编

• 模型道德和伦理

• 环境兼容能源和计算效率

深度学习模型有望逐步演变为具有更高智能和自主性的新型生命体

大语言模型进化树:迁移学习能力涌现

Attentionis All You Need”:启蒙之光界碑之作

ChatGPT:事实性通过图灵测试

为什么是chatGPT?

1. 非线性创新

2. 主流偏离，边缘性技术突破

3. 黑天鹅

4. 偶然性创新

ChatGPT闭源之后，未公开的可能的秘密

1. 数据洪流之后的涌现，增强学习的算法

2. 维度扩展和神经网络复杂度增加，优化了自我监督学习的算法

3. 对人类的反馈进行强化优化

4. 提升模型可解释性

5. 新的全局算法思维和实现，多模态学习算法，更先进的生成对抗网络 (GANs) 算法

chatGPT类软件的研发过程

ChatGPT1/2/3/4:知新悟旧 纳微入精

参数扩展: 参数规模数量呈指数级增长

预训练-微调范式: 无标签文本数据预训练、特定任务微调、任务特化学习、细粒度的控制策略

Transformer架构: 高效并行计算和长距离依赖捕捉

自回归生成式预训练: 生成连贯、富有逻辑的文本、连贯性生成

模型泛化能力: NLP任务中展现出更强的泛化能力、跨任务适应

零样本/少样本学习:有效学习、降低数据标注成本

多语言支持: 跨语言的知识迁移和应用V

开源与闭源: ChatGPT从开源到闭源引发巨大争议

GPT5/6/7/8:无尽探索 灵智飞升

产品节奏:灰度演进稳健狂飙

推理过程:关联推测择优输出

理解输入: 分布式语义解析，首先会接收文本序列，转化为词向量，也称为嵌入。该过程基于分布式语义假设，即词义由其在上下文中的使用决定。

参数关联: 上下文焦点连锁，将这些词向量输入到Transformer的Encoder中生成上下文表示可以看作是在其内部参数模型中寻找与输入相关的信息，也可视为一种连锁反应，因为每个词的上下文表示都取决于其前面的词的上下文表示。

生