神经网络与深度学习 第一周知识总结

课程开端与背景

• 人工智能与深度学习：
  深度学习通过多层神经网络自动学习数据特征，减少人工干预，是第三次AI浪潮的核心技术（数据量增长+算力提升）。

 

线性回归

输入特征（如房屋面积、房龄）与输出目标（如房价）的线性关系建模。

训练与优化：

代价函数：平方误差和

解析解：

梯度下降：迭代更新参数

线性分类与Sigmoid回归
二分类问题：

Sigmoid函数：将线性输出映射到概率（0-1）

代价函数：交叉熵损失

梯度下降更新：

多分类问题（Softmax回归）：

Softmax函数：

交叉熵损失：

神经元与感知机模型
M-P神经元模型：

结构：加权求和 + 激活函数

激活函数：
Sigmoid：σ ( z )
Tanh：tanh ⁡ ( z )
阶跃函数：f ( z ) 
感知机模型：

分类决策
训练算法：
误分类更新
 （Hebb规则）
收敛条件：仅适用于线性可分数据，否则需引入多层网络。
深度学习发展与技术
历史阶段：
1940s-1960s（M-P模型）、1980s（BP算法）、2006年（深度学习爆发）。
关键技术：
CNN：图像处理（卷积层提取局部特征）。
Transformer：NLP（自注意力机制）。
大模型：GPT系列、扩散模型（如Stable Diffusion）。
应用领域与技术要求
自然语言处理：BERT、Transformer、PyTorch工具链。
计算机视觉：OpenCV、YOLO目标检测、三维重建。
机器人：融合强化学习、SLAM技术。
学习体会与改进
数学基础：线性代数（矩阵运算）、概率论（最大似然估计）、微积分（梯度下降）。
实践建议：
使用PyTorch/TensorFlow实现线性回归、Softmax分类。
分析线性不可分问题（如XOR问题）的多层感知机（MLP）解决方案。
其他细节
线性回归的几何意义：
超平面拟合数据，解析解通过投影矩阵推导
感知机局限性：
无法解决非线性问题（如异或问题），需引入多层网络或核方法。
Softmax与交叉熵：
Softmax输出概率分布，交叉熵衡量预测与真实分布的差异。
Hebb规则：
生物启发的权值更新规则，强调“神经元同步激活则连接增强”。