李哥深度学习第零章 深度学习基础

第一章 深度学习概述

一、课程大纲

课程基本分为以下流程

现在的人工智能是学规则而不是从数据里面学什么知识。

二、机器学习算法简介

1.KNN算法

2.决策树

3.朴素贝叶斯算法

实际上，朴素贝叶斯算法是概率论的内容。

三、深度学习

机器学习做决策是不太准确，所以使用深度学习。

深度学习是一个黑匣子，设计一个网络架构让机器自己学。深度学习就是找一个函数，获取特征输入，进行输出。

（1）输入形式

一般有三种输入形式：

图片是一个矩阵，因为相当于一个小快拼出来的

视频也是一个序列，因为视频也是从前到后。

（2）输出形式

（3）输入到输出的形式

任务分类

多模态：多个形式的输入输出。

（4）深度学习的大致步骤

a.如何找一个函数

可以有一定猜测，进行设定。

b.计算损失

c.进行优化optimization

梯度下降法是负号是因为要取相反方向。

学习率越大，移动步伐越大

四、神经网络

每个里面都是一个函数运算，里面可以使用线性函数进行回归分析，也可以使用分类函数也就是逻辑回归函数。拓展一下就是更复杂函数，这是下节课内容。

下节课内容：

（1）神经元和神经网络是类似的。

下面是神经网络的公式

其中 代表对神经元j的权重；注意线性回归中的公式的区别是向量而不是矩阵

（2）激活函数

激活函数是在线性回归外面挂一个函数，这个在生理学上是神经元的阈值。

可得激活函数位置

就是放到输出这个地方

未知参数如下

训练过程

基本线性运算后面都会带一个激活函数运算

多层感知机就是多层的全连接网络。

讲一下linear：前面有1个神经元，后面100个神经元。

架构设计