鲨鱼大哥的专栏

平时经常看到牛顿法怎样怎样，一直不得要领，今天下午查了一下维基百科，写写我的认识，很多地方是直观理解，并没有严谨的证明。在我看来，牛顿法至少有两个应用方向，1、求方程的根，2、最优化。牛顿法涉及到方程求导，下面的讨论均是在连续可微的前提下讨论。 1、求解方程。并不是所有的方程都有求根公式，或者求根公式很复杂，导致求解困难。利用牛顿法，可以迭代求解。原理是利用泰勒公式，在x0处展开，

支撑向量机 SVM1. 支撑向量机 SVM1. 什么是SVMSupport Vector Machine解决的是线性可分问题 Hard Margin SVM Soft Margin SVM2. SVM背后的最优化问题点到直线的距离支撑向量机我们也可以将两个式子变成一个最优化目标这是一个有条件的最优化问题3. Soft Margin SVM...

轻松一下看一个例子：一片绿油油的草地上有一条曲折的小径，通向一棵大树。一个要求被提出：从起点沿着小径走到树下。“很简单。” A说，于是他丝毫不差地沿着小径走到了树下。现在，难度被增加了：蒙上眼。“也不难，我当过特种兵。” B说，于是他歪歪扭扭地走到了树 ………. 旁。“唉，好久不练，生疏了。”“看我的，我有 DIY 的 GPS！” C说，于是他像个醉汉似地走到了树………. 旁。“唉，这...

https://www.zhihu.com/question/41490383/answer/103006793

前言:上次写过一篇关于贝叶斯概率论的数学，最近时间比较紧，coding的任务比较重，不过还是抽空看了一些机器学习的书和视频，其中很推荐两个：一个是 stanford的machine learning公开课，在verycd可下载，可惜没有翻译。不过还是可以看。另外一个是prml-pattern recognition and machine learning, Bishop的一部反响不错的书

1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为：其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+b 】。在训练神经网络过程中，我们通过梯度下降算法来更新w和b，因此需要计算代价函数对w和b的导数：然后更新w、b：

首先明确一下回归与分类的区别：分类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。举个例子：预测明天的气温是多少度，这是一个回归任务；预测明天是阴、晴还是雨，就是一个分类任务；决策树三种算法特性对比：ID3特点:（1）节点优先选取采用信息增益作为标准。（2）容易造

目录(?)[+]有监督学习机器学习分为有监督学习，无监督学习，半监督学习，强化学习。对于逻辑回归来说，就是一种典型的有监督学习。 既然是有监督学习，训练集自然可以用如下方式表述： {(x1,y1),(x2,y2),⋯,(xm,ym)}对于这m个训练样本，每个样本本身有n维特征。再加上一个偏置项x0, 则每个样本包含n+1维特征：

0、写在前面的话      我个人一直很喜欢算法一类的东西，在我看来算法是人类智慧的精华，其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中，并解决了实际问题后，那种快感更是我在其它地方体会不到的。      一直想写关于算法的博文，也曾写过零散的两篇，但也许是相比于工程性文章来说太小众，并没有引起大家的兴趣。最近面临毕业找工作，为了能给自己增加筹码，决定再次复习算法方面的知

首先，在了解树模型之前，自然想到树模型和线性模型有什么区别呢？其中最重要的是，树形模型是一个一个特征进行处理，之前线性模型是所有特征给予权重相加得到一个新的值。决策树与逻辑回归的分类区别也在于此，逻辑回归是将所有特征变换为概率后，通过大于某一概率阈值的划分为一类，小于某一概率阈值的为另一类；而决策树是对每一个特征做一个划分。另外逻辑回归只能找到线性分割（输入特征x与logit之间是线

[+]       感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型      感知机模型如下：f(x)= sign(w*x+b)      其中，

原文：http://blog.youkuaiyun.com/v_july_v/article/details/7624837作者：July 。致谢：pluskid、白石、JerryLead。说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记

本文主要描述了朴素贝叶斯分类方法，包括模型导出和学习描述。实例部分总结了《machine learning in action》一书中展示的一个该方法用于句子感情色彩分类的程序。1方法概述学习（参数估计）实现：朴素贝叶斯下的文本分类模型概述朴素贝叶斯方法，是指朴素：特征条件独立贝叶斯：基于贝叶斯定理根据贝叶斯定理，对一个分类问题，给定样本特征x，样本属于

1. 伯努利分布伯努利分布(Bernoulli distribution)又名两点分布或0-1分布，介绍伯努利分布前首先需要引入伯努利试验（Bernoulli trial）。伯努利试验是只有两种可能结果的单次随机试验，即对于一个随机变量X而言：伯努利试验都可以表达为“是或否”的问题。例如，抛一次硬币是正面向上吗？刚出生的小孩是个女孩吗？等等如果试

看似最小二乘估计与最大似然估计在推导得到的结果很相似，但是其前提条件必须引起大家的注意！！！对于最小二乘估计，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小，其推导过程如下所示。其中Q表示误差，Yi表示估计值，Yi'表示观测值。对于最大似然法，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，也就是概

计算机操作系统：https://blog.youkuaiyun.com/qq_32690999/article/details/78069414计算机网络题目整理：http://www.cnblogs.com/zyf-zhaoyafei/p/4716297.htmllinux 题目整理：http://www.cnblogs.com/mrgavin/p/9330912.htmlpytho...