u014403897的专栏

引例：判断一个人是否长得帅？？？ 有如下feature： 身高，体重，三围，颜值，学习成绩（帅的人学习成绩好的少...为何要这么一个扯淡的特征下面会讲解）等等。 假设有一个标准：每一个评分项给予多少分的权重，当所有feature与权重相乘的和大于某一个值的时候，那这个人就是帅哥！！ 例子： 180*5+150*3+....>1000 帅哥！ 小于则..... 感知器任务：通过已知的实例调节权

注：由于自己画图实在太难画，本文中基本所有插图来源于算法团子机器学习班，请勿转载 1.普通的机器学习模型： 其实，基本上所有的基本机器学习模型都可以概括为以下的特征：根据某个函数，将输入计算并输出。图形化表示为下图： 当我们的g(h)为sigmoid函数时候，它就是一个逻辑回归的分类器。当g(h)是一个只能取0或1值的函数时，它就是一个感知机。那么问题来了，这一类模型有明显缺陷：当模

以上仅给出了代码。具体BP实现原理及神经网络相关知识请见：神经网络和反向传播算法推导 首先是前向传播的计算： 输入: 首先为正整数 n、m、p、t,分别代表特征个数、训练样本个数、隐藏层神经元个数、输出 层神经元个数。其中(1 随后为 m 行,每行有 n+1 个整数。每行代表一个样本中的 n 个特征值 (x 1 , x 2 ,..., x n ) 与样本的 实际观测结果 y。特

逻辑回归和其他回归的异同，及其如何选择关于权值的更新函数问题。用最大似然估计来选取costfunction

测试题目： 代码如下： #include #include #include #include #include #include using namespace std; double hypothesis(vector &feature,vector&w){ double sum=0.0; for(int i=0;i<feature.size();i++){

有bug，一直未找到，闲暇下来在看看，存一档 输入格式 首先为正整数n、m，分别代表特征个数、训练样本个数。 随后为m行，每行有n+1个整数。其中(1 在后续的m行中，每行代表一个样本中的n个整数特征值( )与样本的实际观测结果y(整数)。其中 。 输出格式 决策树的前序遍历结果，若是一个内部节点则输出inner(特征id)，若是一个叶节点，则输出leaf(特征id)。

用熵决策树问题的最基本思想：     我们一般可以通过信息熵来描述分类的混乱程度，如果标注的种类繁杂，说明信息非常混乱，如果标注就只有一种，或者大部分标注相同，那么说明这个数据集的信息比较整齐。用熵决策树的基本思想就是通过不断的划分数据集（通过用特征细化），是的信息熵尽量变小，也就是所谓的增大信息增益。通过不同的特征值来划分数据集，得到的信息增益是肯定不同的，熵决策树的目标就是找出最优的划分方法

注：本文所有图片及文章架构均来源于“算法团子”，后经本人改写所成 以上两幅图片显然左侧这幅能更好描述房价与面积关系，但怎样用数学表示？ 我们将其误差定义为J，所有点的欧氏距离之和其实就是它的误差J J=all（y-h(x)） 如感知器算法，我们的目标就是减小J，根据梯度下降含义，我们可以将J沿着下降最快的方向调整权值，使其能够收敛到J的最小值（极值） 下降最快的方向，就是一阶

此处仅给出代码实现，具体原理及过程请看前面的博文 文件输入格式如下： 2 4 0.25 5 0 0 0 0 1 1 1 0 1 1 1 1 0.06230 0.01123 -0.07335 含义如下： 实现代码如下：（注：为了通用性，本代码只输出了最后一次迭代结果） #include #include using namespace std; double hypotho

特征值缩放： 例子：有一个feature序列，x1基本大于10000，x2都是小于0.01的数，这样可能需要花很长时间才能收敛，解决办法就是特征值缩放 这样可以将数据控制在【-1,1】的区间内 过拟合问题和欠拟合问题都是由于特征值没有选好或者样本太少引发的 过拟合的最简单解决方法：删除无用特征，选取更简单的拟合函数 欠拟合解决办法：增加核心特征，选取复杂函数

此处仅给出代码实现，具体原理及过程请看前面的博文 测试文件输入格式如下： 2 10 0.01 10 2104 3 399900 1600 3 329900 2400 3 369000 1416 2 232000 3000 4 539900 1985 4 299900 1534 3 31490