深度学习内容大纲

1.深度学习基础

1.1.神经网络的基本原理

1.1.1.什么是神经网络

1.1.2.多层感知机

1.1.3.正向传播和反向传播

1.1.4.神经网络的代码实现

1.2.深度学习的计算环境

1.2.1.GPU和CPU

1.2.2.环境安装

1.2.3.算力租用平台

1.3.PyTorch编程基础

1.3.1.PyTorch Tensor

1.3.2.计算图和自动微分

1.3.3.神经网络的搭建

1.3.4.数据的载入和组织

1.3.5.优化器

1.4.MNIST数字手写体识别

1.4.1.图像数据的处理

1.4.2.基于MLP进行数字手写体识别

1.4.3.TensorBoard可视化工具

2.卷积神经网络

2.1.图像特征

2.2.卷积层

2.3.池化层

2.4.典型的卷积神经网络（CNN）架构

2.5.基于CNN完成MNIST任务

2.6.批量归一化

2.7.高级优化器

2.7.1.Momentum（动量）

2.7.2.自适应学习率

2.7.3.ADAM

3.自然语言处理基础

3.1.基本概念

3.2.自然语言处理的应用

3.2.1.语言模型

3.2.2.自然语言理解

3.2.3.自然语言生成

3.2.4.搜索系统

3.2.5.对话系统

3.3.分词问题

3.3.1基于词典的分词

3.3.2.基于序列标注的分词

3.3.3.结巴分词

3.4.文本的特征表示

3.4.1.稀疏特征表示

3.4.2.稠密特征表示

3.5.FastText文本分类

4.循环神经网络

4.1.循环神经网络（RNN）

4.2.RNN的梯度计算

4.2.1.BPTT（Back Propagation Through Time）

4.2.2.RNN的潜在问题

4.3.RNN的改进模型

4.3.1.GRU

4.3.2.LSTM

4.4.双向RNN

4.5.RNN的应用

4.5.1.文本分类

4.5.2.序列标注

4.5.3.Seq2Seq

5.Transformer和预训练模型

5.1.上下文建模问题

5.2.注意力机制

5.2.1.基本原理

5.2.2.Attention Mask

5.2.3.自注意力和交叉注意力

5.2.4.多头注意力

5.3.位置编码

5.4.Transformer Block

5.4.1.残差连接

5.4.2.层归一化

5.4.3.Dropout

5.4.4.Transformer Block的手写代码

5.5.Transformer网络架构

5.5.1.Encoder-Only

5.5.2.Encoder-Decoder

5.5.3.Decoder-Only

5.6.BERT预训练模型

5.6.1.BERT的输入层

5.6.2.预训练任务（MLM + NSP）

5.6.3.动态学习率

5.7.基于BERT的NLP任务

5.7.1.文本分类

5.7.2.文本关系分类

5.7.3.序列标注

5.7.4.多任务学习

5.8.其他预训练模型

5.8.1.类BERT预训练模型（Encoder-Only）

5.8.2.T5预训练模型（Encoder-Decoder）

5.8.3.GPT预训练模型（Decoder-Only）

5.8.4.自回归解码的代码实现

6.大语言模型

6.1.LLM的演变

6.1.1.GPT-1：自回归的预训练模型

6.1.2.GPT-2：多任务学习

6.1.3.GPT-3：少样本学习

6.1.4.InstructGPT：指令对齐

6.2.主流的开源和闭源大模型

6.3.LLM的应用

6.3.1.传统的NLP问题

6.3.2.复杂推理问题

6.3.3.Agent应用

6.4.提示词工程实操

6.4.1.搭建一个简单的对话系统

6.4.2.TEXT2SQL

6.4.3.文档解析

6.5.旋转位置编码

6.6.高效注意力机制

6.7.混合专家架构（DeepSeek的模型架构）

6.8.并行计算策略

6.9.基座大模型的训练

6.9.1.预训练

6.9.2.后训练（指令对齐）

6.9.3.强化学习（PPO，DPO，GRPO）

6.9.4.自训练和知识蒸馏

6.10.轻量微调技术

6.10.1.基本概念

6.10.2.LoRA Finetune

6.10.3.实操：意图识别