第1章 绪论
深度学习是近几年特别火的研究领域,在人工智能的很多方向都取得了巨大成功。从本质上来说,深度学习是机器学习的一个分支,核心是从有限的数据中找到通用规律,再用这个规律处理新的未知数据。比如从很多历史病例里总结症状和疾病的关系,之后就能给新病人诊断病情。
深度学习的模型通常比较复杂,数据从输入到输出要经过很多线性或非线性的处理步骤。但问题在于,最后得到结果时,我们很难说清每个处理步骤到底起了多大作用——这就是“贡献度分配问题”。而人工神经网络是解决这个问题的有效模型,也因此成了深度学习的核心模型。不过要注意,神经网络和深度学习不是一回事:深度学习可以用神经网络,也能用其他模型,但神经网络是深度学习最常用的选择。
本章会先介绍人工智能的基础知识,再逐步讲解神经网络和深度学习的核心概念,帮你搭建起整个领域的基础认知。
1.1 人工智能
现在我们常听到“智能手机”“智能家居”,这里的“智能”其实隐含了对人工智能的简单理解——让机器具备类似人类的智能行为。简单说,人工智能(AI)就是让机器拥有人类的智能,这也是研究者们长期追求的目标。
但“智能”本身没有明确的定义,一般认为它是知识和智力的总和,和大脑的思维活动相关。人类大脑的结构极其复杂,我们至今还没完全搞懂它的工作原理,所以想通过“复制”人脑来实现人工智能,目前是不现实的。
1.1.1 图灵测试:判断机器是否“智能”的标准
1950年,阿兰·图灵在论文《Computing Machinery and Intelligence》里提出了“图灵测试”,用来判断机器是否具备智能:
- 一个人通过问答的方式和对方交流(不接触),如果长时间内无法判断对方是人还是计算机,那就可以认为这台计算机是智能的。
这个测试引导了人工智能的很多研究方向——要通过测试,计算机得具备理解语言、学习、记忆、推理、决策等能力,也因此衍生出了机器感知、机器学习、自然语言处理等多个子领域。
1.1.2 人工智能的“诞生”与核心领域
1956年的达特茅斯会议是人工智能的标志性事件:会上正式提出“人工智能”这个术语,还确定了使命——让机器的行为看起来和人类的智能行为一样。
目前人工智能的核心领域主要分三类:
- 感知:模拟人的感知能力,处理视觉、语音等外部信号(比如人脸识别、语音识别);
- 学习:模拟人的学习能力,从数据或与环境的交互中获取经验(比如监督学习、无监督学习);
- 认知:模拟人的认知能力,处理知识表示、推理、决策等问题(比如自然语言理解、规划)。
1.1.3 人工智能的发展历史:三次浪潮
人工智能从诞生到现在,经历了“繁荣-低谷-再繁荣”的循环,大致分为三个阶段:
-
推理期(1956年-1969年):
- 研究者靠经验总结规则,编写程序让计算机完成任务,比如几何定理证明、语言翻译;
- 初期成果让大家过于乐观,但后来发现规则太简单,很多复杂问题解决不了,研究陷入低谷。
-
知识期(1970年-1983年):
- 研究者意识到“知识”的重要性,开发“专家系统”——把领域专家的知识整理成知识库,再通过推理机解决问题;
- 专家系统在特定领域(比如医疗诊断)取得成果,但依赖人工整理知识,扩展性差。
-
学习期(1980年至今):
- 很多智能行为(比如语言理解)的背后规律,人类无法清晰描述,于是转向让计算机“自己从数据中学习”;
- 机器学习成为核心,尤其是近几年深度学习的爆发,让人工智能在很多任务上超越人类,迎来第三次浪潮。
1.1.4 人工智能的两大主流流派
由于对“智能”的理解不同,人工智能形成了两大主流流派:
-
符号主义(逻辑主义):
- 核心假设:信息可以用符号表示,且能通过逻辑规则操作;
- 认为人类的认知过程就是符号操作,比如早期的专家系统、定理证明器;
- 优点:可解释性强,能说清推理过程。
-
连接主义(仿生学派):
- 核心假设:人类的认知过程是神经网络中的信息处理,不是符号运算;
- 模型是由大量简单神经元组成的网络,具有非线性、分布式、并行化等特点;
- 缺点:可解释性差(比如深度学习“黑箱”问题),但学习能力强;
- 现在很多研究试图融合两者,既保留学习能力,又提高可解释性。
1.2 机器学习
机器学习是人工智能的核心分支,简单说就是:让计算机从数据中自动学习规律,再用规律预测未知数据。比如让计算机看大量手写数字图片,学会识别新的手写数字——这和人类教小孩认数字的过程很像。
1.2.1 机器学习的基本流程
传统机器学习处理任务时,通常要经过四个步骤,缺一不可:
- 数据预处理:清理数据(比如去掉缺失值)、标准化数值,做成适合训练的数据集;
- 特征提取:从原始数据中找有用的特征(比如从图片中提取边缘、纹理);
- 特征转换:进一步优化特征(比如降维,减少冗余信息);
- 预测:用学习算法训练模型,对新数据做预测。
1.2.2 传统机器学习的“痛点”:特征工程
传统机器学习的核心问题是“特征工程”——前三个步骤(预处理、提取、转换)都需要人工完成,依赖领域专家的经验。比如要做文本分类,得人工设计“词频”“词性”等特征,不仅耗时,还很难保证特征的有效性。
1.3 表示学习:让机器自己学特征
为了解决“特征工程”的痛点,研究者提出了“表示学习”——让机器自动从原始数据中学习有效的特征,不用人工干预。
1.3.1 核心目标:解决“语义鸿沟”
原始数据的底层特征(比如图片的像素值、文本的编码)和高层语义(比如“这是一只猫”“这句话是正面评价”)之间存在差距,这就是“语义鸿沟”。表示学习的目标就是把底层特征转换成能反映高层语义的表示,让后续的预测任务更简单。
1.3.2 两种特征表示方式
表示学习的核心是找到“好的特征表示”,常见的有两种:
-
局部表示(离散表示/符号表示):
- 比如用“独热向量”表示颜色:“红色”是[1,0,0],“蓝色”是[0,1,0];
- 优点:解释性强,计算简单;
- 缺点:维度高(有多少种类别就有多少维),无法表示类别间的相似度(比如“中国红”和“红色”的相似度)。
-
分布式表示(稠密表示):
- 比如用RGB值表示颜色:“红色”是[255,0,0],“中国红”是[200,0,0];
- 优点:维度低(比如RGB只用3维),能自然表示相似度(向量距离越近,相似度越高),容易扩展新类别。
1.3.3 表示学习的关键:深度结构
要学到高层语义表示,需要经过多步非线性转换——这就是“深度结构”的价值。深度结构能让特征重复利用,大幅提升表示能力,为后续的深度学习打下基础。
1.4 深度学习:端到端的学习
深度学习是表示学习的延伸,核心是用“深度模型”自动学习从底层到高层的特征表示,不用人工设计特征,实现“端到端学习”。
1.4.1 深度学习的核心特点
- “深度”的含义:原始数据经过多次非线性特征转换(比如神经网络的多层处理);
- 端到端学习:不拆分任务步骤,直接优化最终目标。比如机器翻译,不用先分词、句法分析,直接输入原文输出译文;
- 解决贡献度分配问题:通过反向传播等算法,确定每个处理步骤对最终结果的贡献,从而优化模型参数。
1.4.2 深度学习与传统机器学习的区别
传统机器学习:人工设计特征 + 简单模型预测;
深度学习:模型自动学特征 + 深度模型预测(特征学习和预测一体化)。
举个例子:识别手写数字,传统方法需要人工提取“笔画数量”“边缘特征”,而深度学习直接输入像素值,模型自己学特征,最后输出识别结果。
1.5 神经网络:深度学习的核心模型
神经网络是受人脑神经系统启发设计的计算模型,也是深度学习最常用的模型——因为它能很好地解决贡献度分配问题。
1.5.1 人脑神经网络:灵感来源
人类大脑有近860亿个神经元,每个神经元通过突触和上千个其他神经元连接,形成复杂的网络:
- 神经元通过树突接收信号,通过轴突传递信号;
- 当接收的信号总和超过阈值,神经元就会兴奋,产生电脉冲;
- 突触的强度可以通过学习改变(赫布理论:经常一起兴奋的神经元,连接会变强),这是大脑学习的基础。
1.5.2 人工神经网络:简化模拟
人工神经网络是对人脑的简化模拟,核心组成是“人工神经元”和“连接权重”:
- 人工神经元:接收多个输入,通过权重加权求和,再经过激活函数处理,输出结果;
- 连接权重:表示神经元之间的影响大小,是模型的可学习参数;
- 整体:多个神经元按层排列(输入层、隐藏层、输出层),形成网络,完成从输入到输出的映射。
1.5.3 神经网络的发展历史
神经网络的发展也经历了起伏,大致分为五个阶段:
-
模型提出期(1943年-1969年):
- 1943年:提出MP模型,首次构建人工神经元;
- 1958年:提出感知器,能模拟简单的学习过程;
- 这一时期神经网络在模式识别等领域取得初步成果。
-
冰河期(1969年-1983年):
- 1969年:《感知器》一书指出感知器的缺陷(无法解决“异或”问题),且当时计算机算力不足;
- 神经网络研究陷入低谷,但仍有学者提出反向传播、卷积神经网络的雏形(新知机)。
-
复兴期(1983年-1995年):
- 反向传播算法被广泛认可,解决了多层神经网络的训练问题;
- 卷积神经网络在手写数字识别上取得成功,神经网络重新成为研究热点;
- 但梯度消失问题阻碍了深层网络的发展。
-
沉寂期(1995年-2006年):
- 支持向量机等统计学习方法兴起,神经网络因理论基础不清晰、可解释性差等缺点被边缘化;
- 当时算力和数据量不足,无法训练大规模神经网络。
-
深度学习崛起期(2006年至今):
- 2006年:提出“预训练+精调”方法,解决了深层网络的训练问题;
- 2012年:深度卷积神经网络在图像分类上取得突破性成果;
- 算力(GPU)和数据量的增长,让大规模神经网络的训练成为可能,神经网络迎来第三次高潮。
1.6 常用的深度学习框架
深度学习需要大量的矩阵运算和梯度计算,手动实现效率低且容易出错,因此有了专门的深度学习框架——支持自动梯度计算、GPU加速等功能,常用的有:
- TensorFlow:Google开发,支持静态计算图,生态丰富,适合大规模部署;
- PyTorch:Facebook等开发,支持动态计算图,易用性强,适合科研和快速原型开发;
- 飞桨(PaddlePaddle):百度开发,支持动态图和静态图,对中文任务友好,提供丰富的产业级工具;
- MindSpore:华为开发,适用于端边云场景,对昇腾芯片有原生支持;
- Caffe:专注于卷积神经网络,适合计算机视觉任务,配置文件驱动,无需大量编码。
基于这些框架,还有更模块化的库(比如Keras),让搭建神经网络像“搭积木”一样简单。
1.7 总结
深度学习的核心价值是“自动学习有效特征”,解决了传统机器学习中“特征工程”的痛点。它以神经网络为核心模型,通过端到端学习,避免了人工干预,在图像、语音、自然语言处理等领域取得了巨大成功。
但深度学习也有局限:比如需要大量标注数据、可解释性差、鲁棒性有待提升等。未来的研究方向包括更高效的模型结构、更少的数据依赖、更好的可解释性等。
如果想深入学习,还可以关注斯坦福大学的CS231n(计算机视觉)、CS224n(自然语言处理)等课程,以及ICLR、NeurIPS、ICML等顶级学术会议的最新成果。
359



被折叠的 条评论
为什么被折叠?



