Snow_yuki的博客

机器学习入门-用KNN实现手写数字图片识别（包含自己图片转化）1.数据集格式2.把自己图片转化为数据集格式（把宽高是32像素x32像素的黑白图像转换为文本格式）3.用数据集实现4.运行结果4.代码下载地址KNN是最简单的机器学习方法之一，很适合新手入门。不过我在网上搜索这个方法时，都是用网上的数据集，并没有人教怎样把自己的图片转化为算法可以识别的。好不容易研究出来了，在这里分享给大家。1.数据...

二次规划：是在有线性约束条件的情况下，最小化或最大化多个变量的二次函数(函数的最高次为二次的函数)。二次规划是一种特殊的非线性规划。线性规划：是在有线性约束的条件下，优化多个变量的线性函数。（与二次规划的区别在于，目标函数为线性函数。）对偶问题：是实质相同但从不同角度提出不同提法的一对问题。正定矩阵：(1)定义：设M是n阶方阵，如果对任何非零向量z，都有zTMz> 0，其中z...

损失函数：是用来衡量一个预测器在对输入数据进行分类预测时的质量好坏。损失值越小，分类器的效果越好，越能反映输入数据与输出类别标签的关系（虽然我们的模型有时候会过拟合——这是由于训练数据被过度拟合，导致我们的模型失去了泛化能力）。相反，损失值越大，我们需要花更多的精力来提升模型的准确率。就参数化学习而言，这涉及到调整参数，比如需要调节权重矩阵W或偏置向量B，以提高分类的精度。多类SVM：它是...

梯度是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，大小为方向导数最大值，方向为函数增长最快方向。假设一个函数的极值点，就是它的导数为零的那个点。因此我们可以通过解方程求得函数的极值点。假设上图为函数图像，首先我们随便选择一个点开始，经过一次次迭代，不断根据我们定的步长更新x的值，最终到达最小值点，每次迭代都朝着梯度方向的反方向，梯度下降算法公式可表示为：其中为函数...

Softmax函数：其实就是一个简单的归一化函数，即根据比例把之前的数字变形，使变形后的数字比例与原来相同，但是和变成了1:通常用在计算了W*x之后，把所得的与预测所得的Y归一化，这使得它，与SVM相比有了更加直观的(类似概率概率)输出。softmax损失函数最经常使用的是交叉熵函数(cross-entropy)：交叉熵（Cross Entropy）：主要用于度量两个概率分布间的差异性...