zzhhjjjj的博客

上限分析

批量梯度下降对于一个数据量非常大的模型，采用批量梯度下降，意味着每一次迭代计算都需要将所有样本数据导入并计算，这是计算量、计算时间消耗非常严重的一步。随机梯度下降随机梯度下降法每次迭代更新θ\thetaθ时，只需要用到一个样本数据，如上图中所示由于批量下降是通过总体数据得到的新的迭代更新，所以每一次更新的方向都是好的，而随机梯度只由一个数据控制本次更新，所以可能遇到有时更新的未必是好的方向，但是从整体上看，θ\thetaθ整体的更新是往好的方向的（即使损失函数下降到最小的方向）小批量梯度下降

以θ\thetaθ顾客特征为参数的情况以X电影特征为参数的情况θ\thetaθ和X都为参数的协同过滤方法

异常检测高斯分布异常检测算法异常检测一般都是偏斜类样本，负样本很多，正样本较少。异常样本的选择是通过排除那些负样本的概率，其特征分布可以是除去负样本的很多方位，特征很多，难以学习。多元高斯分布...

聚类算法K-means下面根据上述步骤演示一遍过程：K-means步骤中的优化原理K-means 的代价函数，优化目标是选取合适的c,u来最小化JK-means的步骤实际就是对损失函数的优化过程第一个循环是每次优化选取c，第二次则是优化选取u，不断迭代。随机初始化聚类中心的位置多次随机初始化，并且利用初始化值运行，最终选定最小损失的。聚类数目的选择...

训练集、测试集、验证集One way to break down our dataset into the three sets is:Training set: 60%Cross validation set: 20%Test set: 20%三种数据划分可以分别做一下用途：We can now calculate three separate error values for the three different sets using the following method:Op

反向传播公式推导https://blog.youkuaiyun.com/ice_martin/article/details/77763075https://blog.youkuaiyun.com/gao158190523/article/details/72963615

传统方法的缺陷对于一些问题，如果我们采用之前所学的线性回归/逻辑回归，往往单凭线性函数难以划分，这就要求我们可能会将特征加到2次乃至更高次。对于一张50 ×\times× 50像素的图片来说，如果特征为2次，那么就需要高达3million的特征参数，如果更复杂，那么特征也将跟着次方级的增加，而这样明显不是一个好的选择，因为这大概率会导致最终结果的过拟合，并且计算成本很高。神经网络模型神经网络实现多分类任务一个简单的三层网络结构模型实现 xnor...

正则化是解决过拟合的方法之一。添加正则化处理后的梯度下降，最终形式可以看到θj\theta_jθj​前多了(1−αλm)(1 - \alpha\frac{\lambda}{m})(1−αmλ​)项，是一个略小于1的值，从而有一定偏差，可以保证不会像原来那样出现完全拟合的情况。...

分类问题有别于回归问题，假设我们做一个二分类，我们将分类结果表示为y = 0或 y = 1。当我们尝试用回归模型去解决分类问题，我们得到的预测函数很大可能会出现hθ(x)>1 or hθ(x)<0h_\theta(x)>1 \ or \ h_\theta(x)<0hθ​(x)>1 or hθ​(x)<0 这样的情况，显然这是不需要的，并且不太靠谱。我们应该尝试将hθ(x)h_\theta(x)hθ​(x) 控制在(0,1)之间，从

对数据表示做一些规定xj(i)=value of feature j in the ith training examplexi=the input (feature) of the ith training examplem=the number of training examplesn=the numb

machine　learning　algorithm:machine　learning　algorithm:machine　learning　algorithm:　　－Supervised　learning={　　regression　　classification　　Supervised　learning = \begin{cases}　　regression \\　　classification　　\end{cases}Supervised　learning={　　regression　　cla