DL ML AI——From 0 to 1

第 1 集机器学习简介

1.1 课程介绍

1.2 本集介绍

1.3 推荐的参考书

1.4 人工智能简介
1.5 机器学习简介
1.6 为什么需要机器学习

1.7 机器学习的发展历史

1.8 机器学习的典型应用

1.9 业内主要公司介绍

1.10 本课程讲授的算法

1.11 本集总结

 

 

第 2 集数学知识-1 

2.1 本集内容简介

2.2 学好机器学习需要哪些数学知识

2.3 推荐的参考书
2.4 本集所讲的知识点
2.5 机器学习算法所用的数学知识

2.6 导数

2.7 高阶导数

2.8 导数与函数的性质

2.9 一元函数的泰勒展开

2.10 向量
2.11 矩阵
2.12 行列式
2.13 偏导数
2.14 高阶偏导数
2.15 梯度
2.16 雅可比矩阵
2.17 Hessian 矩阵
2.18 极值判别法则
2.19 二次型
2.20 特征值与特征向量

2.21 特征值分解
2.22 多元函数的泰勒展开

2.23 矩阵和向量求导公式

2.24 奇异值分解
2.25 为什么需要概率论

2.26 随机事件与概率

2.27 条件概率与贝叶斯公式

2.28 随机事件的独立性

2.29 随机变量
2.30 数学期望与方差

2.31 常用的概率分布

2.32 随机向量
2.33 随机变量的独立性

2.34 协方差

2.35 常用的多维概率分布

2.36 最大似然估计
2.37 本集总结

 

 

第 3 集数学知识-2 

3.1 本集内容简介

3.2 最优化中的基本概念

3.3 为什么要用迭代法

3.4 梯度下降法
3.5 牛顿法

3.6 坐标下降法

3.7 优化算法面临的问题

3.8 拉格朗日乘数法
3.9 凸优化简介
3.10 凸集
3.11 凸函数
3.12 凸优化的性质
3.13 凸优化的一般表述

3.14 拉格朗日对偶
3.15 KKT 条件
3.16 本集总结

 

 

第 4 集基本概念

4.1 本集介绍

4.2 监督信号

4.3 有监督学习

4.4 无监督学习
4.5 强化学习
4.6 分类问题
4.7 回归问题
4.8 线性回归
4.9 判别模型与生成模型

4.10 准确率

4.11 回归误差

4.12 精度与召回率

4.13 ROC 曲线

4.14 混淆矩阵

4.15 交叉验证
4.16 欠拟合
4.17 过拟合
4.18 欠拟合与过拟合总结

4.19 偏差与方差分解

4.20 正则化

4.21 岭回归

4.22 本集总结

 

 

第 5 集贝叶斯分类器

5.1 本集简介

5.2 贝叶斯公式

5.3 朴素贝叶斯分类器

5.4 正态贝叶斯分类器

5.5 实验环节
5.6 实际应用
5.7 本集总结

 

 

第 6 集决策树
6.1 本集内容介绍

6.2 树与二叉树简介

6.3 决策树简介
6.4 决策树的表示能力
6.5 训练算法要解决的核心问题

6.6 递归分裂过程

6.7 寻找最佳分裂

6.8 叶子节点值的设定

6.9 属性缺失与替代分裂

6.10 过拟合与剪枝
6.11 实验环节
6.12 实际应用
6.13 本集总结

 

 

第 7 集k近邻算法

7.1 本集简介

7.2 k 近邻算法

7.3 预测算法
7.4 距离函数
7.5 距离度量学习

7.6 实验环节

7.7 实际应用

7.8 本集总结

 

第 8 集数据降维1

8.1 本集内容简介

8.2 为什么需要数据降维

8.3 PCA 简介
8.4 计算投影矩阵
8.5 完整的算法流程

8.6 实验环节

8.7 实际应用

8.8 本集总结

 

 

第 9 集数据降维2
9.1 本集内容简介

9.2 非线性降维技术简介

9.3 流形简介
9.4 流形学习简介
9.5 局部线性嵌入

9.6 拉普拉斯特征映射

9.7 局部保持投影
9.8 等距映射
9.9 实验环节

9.10 本集总结

 

 

第 10 集线性判别分析
10.1 本集内容简介
10.2 LDA 的基本思想
10.3 寻找最佳投影方向
10.4 推广到高维和多类的情况

10.5 PCA 与 LDA 的比较

10.6 实验环节

10.7 实际应用

10.8 本集总结

 

 

第 11 集人工神经网络 1
11.1 本集内容简介
11.2 动物神经系统的基本原理

11.3 人工神经网络的基本思想

11.4 神经元的原理
11.5 sigmiod 函数
11.6 神经网络的结构
11.7 神经网络每一层完成的变换

11.8 正向传播算法
11.9 神经网络的本质
11.10 怎样用于实际问题

 

第 12 集人工神经网络 2

12.1 本集内容简介
12.2 反向传播算法概述

12.3 反向传播算法的历史

12.4 正向传播算法回顾

12.5 优化目标函数

12.6 欧氏距离的求导公式

12.7 链式法则
12.8 基础求导公式
12.9 求导的整体思路
12.10 权重和偏置的求导公式

12.11 输出层的求导

12.12 误差项的计算

12.13 完整的算法

12.14 算法总结

12.15 工程实现细节

12.16 本集总结

 

 

第 13 集人工神经网络 3 

13.1 本集内容简介

13.2 实验环节
13.3 理论分析

13.4 理论分析-拟合能力

13.5 理论分析-与神经系统的关系

13.6 实现细节问题
13.7 输入与输出值的设定
13.8 网络的规模
13.9 激活函数
13.10 损失函数
13.11 参数初始化
13.12 正则化
13.13 学习率的设定
13.14 动量项
13.15 挑战与改进措施
13.16 梯度消失问题
13.17 退化
13.18 局部极小值
13.19 鞍点问题
13.20 损失函数曲面分析
13.21 实际应用
13.22 实践项目
13.23 本集总结

 

 

第 14 集支持向量机 1

14.1 本集内容简介

14.2 支持向量机简介
14.3 线性分类器
14.4 分类间隔
14.5 线性可分的原问题

14.6 线性可分的对偶问题

14.7 线性可分的实验
14.8 线性不可分的原问题

14.9 线性不可分的对偶问题

14.10 KKT 条件的使用
14.11 线性不可分的实验

14.12 核函数实验
14.13 核映射与核函数

14.14 本集总结

 

 

第 15 集支持向量机 2
15.1 本集内容简介
15.2 对偶问题求解面临的问题

15.3 SMO 算法简介
15.4 求解子问题
15.5 子问题是凸优化问题的证明

15.6 SMO 算法的收敛性
15.7 优化变量的选择
15.8 完整的算法
15.9 实现细节问题
15.10 本集总结

 

 

第 16 集支持向量机 3

16.1 本集内容简介

16.2 多分类问题

16.3 libsvm 简介

16.4 实验环节

16.5 实际应用

16.6 应用时的细节问题
16.7 SVM 整体推导思路的总结

 

 

第 17 集线性模型 1
17.1 本集内容简介
17.2 线性模型
17.3 logistic 回归的基本思想

17.4 预测函数

17.5 试验

17.6 优化目标函数

17.7 凸优化证明

17.8 梯度下降法求解

17.9 另一种形式的对数似然函数

17.10 L2 正则化 logistic 回归

17.11 L1 正则化 logistic 回归

17.12 liblinear 简介
17.13 实验
17.14 softmax 回归
17.15 实际应用
17.16 本集总结

 

 

第 18 集线性模型 2
18.1 本集内容简介
18.2 线性支持向量机简介

18.3 L2 正则化 L1-loss 原问题

18.4 L2 正则化 L2-loss 原问题

18.5 L2 正则化对偶问题
18.6 L1 正则化 L2-loss 原问题

18.7 多类线性支持向量机

18.8 实验
18.9 libsvm 和 liblinear 的比较

18.10 实际应用
18.11 本集总结

 

 

第 19 集随机森林
19.1 本集内容简介
19.2 集成学习简介
19.3 Bootstrap 抽样
19.4 Bagging 算法
19.5 随机森林的基本原理

19.6 训练算法
19.7 包外误差
19.8 计算变量的重要性

19.9 实验
19.10 实际应用
19.11 本集总结

 

 

第 20 集AdaBoost算法1 

20.1 本集内容简介
20.2 再论集成学习算法

20.3 Boosting 算法简介

20.4 AdaBoost 的预测算法

20.5 训练算法

20.6 训练算法的解释

20.7 算法的总结

20.8 与随机森林的比较

20.9 训练误差分析

 

 

第 21 集AdaBoost算法2
21.1 本集内容简介
21.2 广义加法模型
21.3 指数损失函数
21.4 AdaBoost 训练算法的推导

21.5 实现细节问题

21.6 弱分类器的选择

21.7 弱分类器数量的确定

21.8 样本权重削减

 

 

第 22 集AdaBoost算法3

22.1 本集内容简介

22.2 实验环节
22.3 应用简介

22.4 VJ 框架简介

22.5 滑动窗口技术
22.6 分类器级联
22.7 Haar 特征
22.8 积分图
22.9 训练算法的原理

22.10 训练自己的模型

22.11 VJ 框架的改进

22.12 AdaBoost 算法总结

 

 

第 23 集高斯混合模型与 EM 算法

23.1 本集内容简介
23.2 高斯混合模型简介
23.3 实际例子

23.4 训练算法面临的问题

23.5 EM 算法
23.6 实现细节与面临的问题

23.7 应用-视频背景建模

23.8 本集总结

 

 

第 24 集聚类算法 1
24.1 本集内容简介

24.2 聚类问题简介

24.3 聚类算法的分类

24.4 层次聚类流程

24.5 层次聚类的实例

24.6 簇距离的定义

24.7k 均值算法的基本思想

24.8k 均值算法的流程
24.9 实现细节问题与改进方案

24.10 实验

24.11EM 算法简介

24.12Jensen 不等式

24.13EM 算法的推导

24.14EM 算法的流程

24.15EM 算法收敛性的证明

 

 

第 25 集聚类算法 2
25.1 本集内容简介
25.2 基于密度的算法简介

25.3DBSCAN 算法简介
25.4 基本概念
25.5DBSCAN 算法的核心思想

25.6DBSCAN 算法的流程
25.7 实现细节问题
25.8 实验
25.9DBSCAN 算法的优缺点

25.10OPTICS 算法简介
25.11 基本概念
25.12 算法的流程
25.13 根据排序结果得到聚类结果

25.14 实验
25.15Mean Shift 算法
25.16Mean Shift 算法的流程

25.17 谱聚类算法简介
25.18 图切割问题
25.19 优化目标函数
25.20 算法的流程
25.21 聚类算法的评价指标
25.22 实际应用
25.23 聚类算法总结

 

 

第 26 集隐马尔可夫模型

26.1 本集内容简介
26.2 概率图模型简介

26.3 马尔可夫模型简介

26.4 状态与状态转移矩阵

26.5 马尔可夫性

26.6 马尔可夫模型

26.7 模型的训练
26.8 隐马尔可夫模型简介

26.9 隐马尔可夫模型的核心问题

26.10 估值问题
26.11 解码问题
26.12 训练问题

26.13 实际应用

26.14 本集总结

 

 

第 27 集强化学习 1
27.1 本集内容简介

27.2 强化学习简介

27.3 马尔可夫决策过程

27.4 状态价值函数

27.5 策略价值函数

27.6 贝尔曼最优性方程

27.7 动态规划算法简介

27.8 策略迭代算法

27.9 价值迭代算法

 

 

第 28 集强化学习 2

28.1 本集内容简介
28.2 无模型算法简介
28.3 蒙特卡洛算法简介
28.4 状态价值函数估计
28.5 动作价值函数估计
28.6 蒙特卡洛控制
28.7 蒙特卡洛算法存在的问题

28.8 时序差分算法简介

28.9Sarsa 算法
28.10Q 学习算法
28.11 强化学习总结

 

 

第 29 集工程实践问题

29.1 本集内容简介

29.2 样本与标注

29.3 特征构造

29.4 特征预处理

29.5 模型选择问题

29.6 过拟合问题

29.7 参数调优

29.8 本集总结

 

 

第 30 集实践项目
30.1 实践项目说明
30.2 用 HOG+线性支持向量机进行目标检测

30.3 用 logistic 回归进行数据预测

30.4 用全连接神经网络进行图像分类

30.5 用 AdaBoost 算法进行目标检测

30.6 用支持向量机进行文本分类

30.7 用随机森林进行数据预测
30.8 用 PCA+LDA 进行人脸识别
30.9 用聚类算法进行数据分析

 

 

第 31 集各种算法总结