CallMeSP的博客

新的学习征程之前的blog主要是关于Android和Nodejs的一些开发学习笔记，在经历了一段时间的学习和实习之后，也拿到了几个大厂offer，痛定思痛下决心在大四参加考研，现在考研成功，也要继续开始新的学习了，接下来的学习将主要以Machine Learning为主，由于很多主流的书籍论文都是英文，希望也能锻炼着以后用英文来写一些学习记录blog。我个人之前是没有过任何机器学习相关的学习经...

今天学习的内容是贝叶斯分类器。 在正式介绍之前，先说两个名词：标称型数据：只在有限的目标集中取值，如真与假（主要用于分类）数值型数据：可从无限的数值集合中取值（主要用于回归分析）贝叶斯决策论Bayes Decision theory是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的...

上一篇文章学习了kNN算法，它能完成许多分类任务，但是它最大的缺点就是无法给出数据的内部含义，而相比之下决策树的优势就是 数据形式非常容易理解 可以持久化分类器，而kNN则必须每次分类时重新学习一遍 决策树同样是一类常见的机器学习算法，使用它的目的是希望能从给定训练数据集学得一个模型用以对新示例进行分类。 决策树算法主流上有ID3、CART、C4.5等。 在讨论...

本次学习的内容是《机器学习》一书中的线性模型这一章节另外这一章节理论性的东西更多，所以还学习了《Machine Learning in Action》中的Logistic回归，实战了一些简单的例子作为互补参考。代码以及测试用例： https://github.com/CallMeSp/MachineLearning.git正文先说一个数学符号： arg min f(x) 是指使...

基本定义给定一个训练样本集，分类学习最基本的想法就是基于训练集Ｄ在样本空间中找到一个划分超平面，将不同的类别的样本分开。这个划分超平面越鲁棒，对未见示例的泛化能力就越强。划分超平面可通过如下线性方程来描述。WTX+b=0WTX+b=0 W^{T}X+b=0其中w=(w1;w2;...;wd)w=(w1;w2;...;wd)w=(w_{1};w_{2};...;w_{d})是法向量，决定了超...

这篇博客就稍微再补充一点理论性的知识。关于最小化代价函数的几种算法。Gradient DescentNormal equationConjugate gradientBFGSL-BFGS由于难度原因本篇只关注gradient descent梯度下降法，这个方法应用比较广泛,在无法使用正规方程法的许多条件下依然可以奏效，其对比正规方程法的优点是在数据量较大的时候仍然能取得...

这篇文章主要是带来机器学习西瓜书决策书这一章的编程习题。相比机器学习实战中的对应章节有了一定的难度上的提升，主要体现在数据集中加入了连续值，对于连续值的处理不能够和离散值同等对待，否则其不同值各自分为一类显然信息增益最大，但这样在实际的应用中并没有意义甚至适得其反。这就涉及到了对于连续值的处理。连续值处理最简单的策略就是采用二分法对于连续值进行处理，这正是C4.5决策树算法中采用的机制...

在MP神经元模型之中，神经元接收到来自其它n个神经元传递过来的输入信号，这些输入信号通过带权重的连接2进行传递，神经元接收到的总输入值与神经元的阈值进行比较，然后通过激活函数处理以产生神经元的输出。一般而言选取sigmoid函数作为激活函数来使用，因为其相对激活函数来说的连续、光滑等性质。把许多个这样的神经元按照一定的层次结构连接起来，就得到了神经网络。 在神经网络中，BP算法是最杰出的代表...