justsolow的博客

PCA降维，SVD分解和LDAPCASVDPCA（主成分分析）在机器学习中，每一种性质代表一个特征，这样的话就很容易出现维数灾难现象。这时候我们就会用到降维的技术。先讲一下基础的PCA降维吧。PCA降维用一句话来说就是把原来高维的点投影到低维的区域。（至于图片自己YY吧，我就懒得找了）那么该怎么做呢？其实我们日常的直角坐标系不就是PCA降维的特例呢，不过是我们初中老师教的时候只告诉你记住就行，所以你也没想他是怎么来的。见下图（A向量投影到B向量上）。那么数学公式怎么表达呢？A=(x1,y

LR（逻辑回归浅析）这里有一篇很详细的讲解我这里就简单缕缕LR的思路就好了。Logistic Regression 虽然被称为回归，但其实际上是分类模型，并常用于二分类。Logistic 回归的本质是：假设数据服从这个分布，然后使用极大似然估计做参数的估计。1、 Logistic 分布Logistic 分布是一种连续型的概率分布，其分布函数和密度函数分别为：其中μ 表示位置参数, γ>0\mu \text { 表示位置参数, } \gamma>0μ 

机器学习中的极大似然估计极大似然估计顾名思义，就是通过最大的可能性估计出最有可能的参数值。举个例子，你想要的知道学校的男生和女生的身高分布。你该怎么做呢？首先假设全校同学的身高分布是符合正态分布的。那么，我们就需要知道正态分布的均值和方差。那该怎么求呢？总不能全部统计一下吧，这样太费时费力了。然后你就想到了一个好办法，通过随机抽样，取出100个男生和100个女生，然后统计他们的身高分布，然后用这200个人的身高分布近似代替总体的身高分布。上面这就是极大似然估计的思想。下面就来具体解决一下实际过程中的

KNN（k近邻详解）详细链接一详细链接二一句话说明白KNN算法原理下面我们只讲关于分类的KNN，回归的不讲。其实很简单，就是计算你要预测的点的周围最近的K个点，然后取这k个点中最多的类定义为你要预测的这个点所属的类型。如下图所示，比如说：有两类不同的样本数据，分别用蓝色的小正方形和红色的小三角形表示，而图正中间的那个绿色的圆所标示的数据则是待分类的数据。这也就是我们的目的，来了一个新的数据点，我要得到它的类别是什么？好的，下面我们根据k近邻的思想来给绿色圆点进行分类。1、如果K=3，绿色圆点的

朴素贝叶斯下面是一些总结，再放两个大佬详细例子的举例。例子一（基本的朴素贝叶斯）例子二（拉普拉斯优化的朴素贝叶斯）贝叶斯公式：机器学习中的贝叶斯公式：因为在求P的时候会涉及多个特征概率的问题，所以我们假设特征之间相互独立，所以这种基于特征之间相互独立的贝叶斯叫做朴素贝叶斯。然后代入公式求解即可。但是还有两个问题没有解决？？？1、连续的数据怎么办？2、有缺失值的数组怎么办？对于第一个问题，我们得实现用极大似然估计求出其概率模型，一般是正态函数，然后将x带入高斯函数得出相应的概率进行计

感知机算法的推导感知机感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别（取+1和-1）。感知机对应于输入空间中将实例划分为两类的分离超平面。感知机旨在求出该超平面，为求得超平面导入了基于误分类的损失函数，利用梯度下降法对损失函数进行最优化。如果我们将sign称之为激活函数的话，感知机与logistic regression的差别就是感知机激活函数是sign，logistic regression的激活函数是sigmoid。sign(x)将大于0的分为1，小于0的分为-1；sigm

SVM的推导（非常详细）参考自（https://www.zhihu.com/search?q=svm%E6%8E%A8%E5%AF%BC&utm_content=search_suggestion&type=content）还有李航的统计学习。支持向量机有三个部分的内容，线性可分支持向量机，软间隔支持向量机，核函数。目标函数的得出首先SVM是一个线性分类器，SVM的目标就是找到最大间隔超平面。我们定义任意的超平面函数为：看上面的图，最中间的那条线就是（这里的w*就是上面的

决策树三种算法的剖析（id3，c4.5，cart）决策树大家应该都听说过，说白了就是通过建树来处理分类和回归问题。对于信息论的基本知识我就不多讲了，说实话我也不太清楚，我认为其实也没必要去了解，学到什么不懂学什么就好了。进入正题！！！id3先来说一下最简单的id3算法。首先我们需要知道一个算法他的度量函数也就是损失函数是什么？这是很重要的一个问题。id3的损失函数叫做信息增益，信息增...

牛顿法，梯度下降法，拟牛顿法。梯度下降法的推倒（https://blog.youkuaiyun.com/pengchengliu/article/details/80932232）顺带提一嘴，最小二乘法其实也就是MSE。牛顿法其实就是对函数进行二阶泰勒展开求极值的问题，最后得到的是递推关系x与函数一阶导和二阶导的关系。其中H代表黑塞矩阵，也就是函数的二阶偏导数矩阵，g代表函数的一阶导数矩阵。下面是具体...

算法岗面试准备知识（持续更新）先放一下思维导图

L1正则化与L2正则化正则化之所以能够降低过拟合的原因在于，正则化是结构风险最小化（模型结构最简单，经验风险最小化就是训练误差小）的一种策略实现。 给loss function加上正则化项，能使得新得到的优化目标函数h = f+normal，需要在f和normal中做一个权衡（trade-off），如果还像原来只优化f的情况下，那可能得到一组解比较复杂，使得正则项normal比较大，那么h就不...

CV面试题1、反卷积反卷积又叫做转置卷积，在计算机中计算的时候，转置卷积先将卷积核转为稀疏矩阵C的形式，然后计算的时候正向传播的时候左乘这个稀疏矩阵C的转置，反向传播的时候左乘这个稀疏矩阵C。一般的卷积运算可以看成是一个其中非零元素为权重的稀疏矩阵C与输入的图像进行矩阵相乘，反向传播时的运算实质为C的转置与loss对输出y的导数矩阵的矩阵相乘反卷积的运算过程与卷积正好相反，是正向传播时左乘...

python界面显示K-means迭代过程科大模式识别大作业。用到了python中比较简单的GUI，tkinter。纯手工代码比较简单，注释也挺详细，凑乎着看吧。源代码链接感觉有用的话，可以赏几个积分。import numpy as npimport matplotlib.pyplot as pltimport tkinterfrom tkinter import ttkfrom...

决策树 id3算法实现多叉树树形图显示受一个科大同学之情，是科大《机器学习》这门课的课程作业之一，暑假在家抽时间完成了这个matlab的版本。略有不足，还望多多海涵。感觉网上关于matlab问题的解答不是很多，自己琢磨了挺久的，颇感遗憾。感觉对你有帮助的可以去下载一下我的代码，谢谢。https://download.youkuaiyun.com/download/justsolow/11214000也...