wasser000的博客

0 引言 回顾一下之前学习过的，在求解神经网络时，我们通常使用梯度下降算法进行求解。 首先，先自定义一组参数作为我们的起始值，之后计算我们需要使用的梯度，有了梯度之后就可以利用它进行迭代求解了，如图0-1。 显而易见的是，在一个神经网络中，可能参数数目成千上万，远超过我们的想象，那么这么庞大的计算量，我们就需要一些可以辅助我们的工具。backprop...

1 前言 对于深度学习（神经网络）的应用，在目前这个时间段来说，使用对象，发展研究实在是太多了。这也可以算是这个时代非常热门的一项技术了。 这里可以看一下，图1-1了解下深度学习的历史上的起伏。图1-1 深度学习的历史上的起伏 可以看到58年提出感知机后由于有人提出了感知机受限后就冷下去了，后经历了一些起伏直到06年的RBM（受限玻尔兹曼机...

这一部分是接着上一部分进行描述的，上一部分，我们把使用贝叶斯公式得到的结果推导，发现结果是一个线性的函数，我们针对这个函数，试试可不可以把这个函数求解出来。很容易发现，这是一个回归问题，我们就把他称作是逻辑回归，做这个回归问题一步一步来吧：1 模型选择 function set 首先我们还是需要选择合适的模型，确立我们的目标。 上一节了解了我们...

Classification：Probabilistic Generative Model分类问题属于比较常见的问题之一了，这次李老师讲的是一个比较基础的分类问题的模型，为了让我们对这个问题进一步了解，可以更好地继续学习。1 分类分类问题是通过对大量输入进行分析，寻找模型，将样本进行分类，从而之后输入的样本，可以分类到合适的类。这个问题还是很容易理解的，看例子：接下来对宝可梦的属性...

（1950年提出）人工智能是我们希望达成的目标，希望机器可以和人一样智能，而机器学习是实现人工智能的一种方式，而深度学习是机器学习中的一种方式，深度学习主要指的是基于机器学习中神经网络的各种模型。 下面介绍几种为了实现人工智能的方式：hand-crafted rules人工智能：早期的人工智能，其本质就是通过许多if判断语句去实现，通俗的讲就是用大量的判断语句，...

这一讲主要聊的是误差到底是从哪里来的，误差主要来源于两个地方，即w和b，这两个参数其实也代表了上一讲提到过的回归模型。通过了解误差的来源，我们可以提升模型。这节课大量知识都是概率论中学的，很基础很有趣。1 初步分析不同的model会产生不同的error，很多时候，更复杂的model会产生更复杂的error。error来源：变量与偏差。我们不知道实际情况下模型到底是...

Regression : output a scalar 输出一个标量在机器学习基础的模型中，回归算是一个很多课程引入学习的一个模型了，它可以让我们初步的去了解机器学习的过程。1 例子以下是李宏毅老师提到的例子：股票市场预测：通过输入各种股票市场参数：输出数字无人车驾驶：输入车上传感器参数：输出方向盘角度商品 推荐：使用者特征，商品特征：输出购买可能性可以看出，回...

这次主要是聊梯度下降的细节与技巧，上次讲过了梯度下降的步骤。1 回顾还记着之前提到过的吗，梯度下降可以在复杂庞大的数据中寻找局部最优解，对loss function处理中有比较好的应用。我们需要对参数进行处理，可以使用梯度下降法。再重温梯度下降过程吧（具体可以看第二篇回归）：实际的要求是寻找一组参数，需要损失函数达到最小值：θ=argminL(θ)...