qq_37194898的博客

概率分布与随机变量1.机器学习为什么要使用概率事件的概率是衡量该事件发生的可能性的量度。虽然在一次随机试验中某个事件的发生是带有偶然性的，但那些可在相同条件下大量重复的随机试验却往往呈现出明显的数量规律。​机器学习除了处理不确定量，也需处理随机量。不确定性和随机性可能来自多个方面，使用概率论来量化不确定性。​概率论在机器学习中扮演着一个核心角色，因为机器学习算法的设计通常依赖于对数据的概率假设。例如在机器学习（Andrew Ng）的课中，会有一个朴素贝叶斯假设就是条件独立的一个例子。该学习算法对内

深度学习通常又需要哪些数学基础？深度学习里的数学到底难在哪里？通常初学者都会有这些问题，在网络推荐及书本推荐里，经常看到会列出一系列数学科目，比如微积分、线性代数、概率论、复变函数、数值计算、优化理论、信息论等等。这些数学知识有相关性，但实际上按照这样的知识范围来学习，学习成本会很久，而且会很枯燥，本章我们通过选举一些数学基础里容易混淆的一些概念做以介绍，帮助大家更好的理清这些易混淆概念之间的关系。向量和矩阵1.标量、向量、矩阵、张量之间的联系标量（scalar）一个标量表示一个单独的数，它不同于线

RNN is a type of artificial neural network where the weights form a directed cycleRNN shares parameters, which can preserve statistical strength and generalize to varying length of sequences对于分类任务：每个时刻都有自己的loss总的loss需要把所有的loss加起来！！前向传播过程如下图：er..

卷积的特性何为稀疏链接？如图2所示空间不变性对小的变化结果保持不变：未加池化是等变得有了池化操作后输出是不变的（对于目标识别等任务非常有用）池化还有降维的作用！！！卷积操作：receptive filed:感受野K是kernel的大小！！！zero-padding:步长为1时，保持输入输出size相等时，P需要取(k-1)/2当stride不为1时，p的大小应该设置为：在这里插入图片描述Pooling原理上述pooling的stride为2N个featur.

Deep Learning Applications数学知识

转化成非线性（1）（2）（3）举例：异或门（使用非线性运算）Cost Functions交叉熵公式前加负号转化为求min输出单元隐藏单元ReLU函数Positives:Gives large and consistent gradients (does not saturate) when activeEfficient to optimize, converges much faster than sigmoid or tanhNegatives:..