谷雨的博客

一、softmax函数 softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！ 假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是: 更形象的如下图表示： 参考： 1：https://www.zhihu.com/question/40403377/answer/86647017 2。http://freemind.pluskid.org/machine-...

线性回归 定义：给定d个属性描述示例，其中是在第i个属性上的取值，线性模型就是通过属性的线性组合来进行预测:，一般用向量形式写成：,其中,w和b学得之后，模型就得以确定。 而线性回归模型是在给定数据集（其中，,），利用线性模型试图学得,使得函数.像这样有d个属性描述的线性函数，也被称为“多元线性回归”（multivariate linear regression）。 为了确定中的w和b,就要利用预估值（）与实际值（）之间的差值。当和之间的差值越小，则认为模型越好。为评价预估值与实际值的差别，可...

在引出贝叶斯定理之前，先学习几个定义： 条件概率（又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。 比如，在同一个样本空间Ω中的事件或者子集A与B，如果随机从Ω中选出的一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率，所以：P(A|B) = |A∩B|/|B|，接着分子、分母都除以|Ω|得到 联合概率表示两个事件共同发生的概率。A与B的联合概率表示为或者。 边缘概率（又称先验概率）是某个事件发生的概

K-means聚类算法 K-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中，那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。 聚类属于无监督学习，以往的回归、朴素贝叶斯、SVM等都是有类别标签y的，也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y，只有特征x，比如假设宇宙中的星星可以表示成三维空间中的点集。聚类的目的是找到每个样本x潜在的类别...