蔡同学的博客

工作一年有余，通信方向，随着工作时间增长，深感自己核心竞争力缺失，刚巧碰上机器学习的潮流，于是决定一窥机器学习之究竟。听取老友15的建议，开通博客，一来可以记录一下自己的学习笔记，二来可以监督自己学习的进度。自己之前研究生阶段写过代码，均是功能实现的那种，不考虑架构、算法，技术含量很低，因此自己的代码水平可以说是小白一枚。希望能够通过自己的不断努力，把机器学习和代码功底练习扎实，同时也希望广大

[写在前面：最近工作上事情比较多，加上年终述职和元旦假期去首都玩了一次，导致这篇博客前前后后写了快有半个月，跨越了2017和2018年，意义非凡。在这里祝大家新年快乐，也希望自己在新的一年能够坚持学习，提升自己！]  上一篇博客机器学习之路——朴素贝叶斯分类写到了朴素贝叶斯的理论知识，今天来讲一下朴素贝叶斯实战——垃圾邮件过滤，本文内容参考《机器学习实战》。  举个简单的例子，我们在网上发帖的时候，

最近在看周志华《机器学习》的贝叶斯分类器这一章时觉得书上讲的很难理解，很多专业术语和符号搞的我头大，大学时候概率论我还是学的还是不错的，无奈网上搜了搜前辈的博客，看到一篇把朴素贝叶斯讲的很简单的文章，顿时豁然开朗。关于贝叶斯分类且听我慢慢道来：贝叶斯定理  学习朴素贝叶斯分类器之前，先介绍下贝叶斯定理(来自百度)：   贝叶斯定理由英国数学家贝叶斯 ( Thomas Bayes 1702-1761

使用k-近邻算法识别手写数字   一个星期没有更新博客了，最近在看K-近邻算法和决策树，学习《机器学习实战》K-近邻算法里的实战问题代码时遇到了些问题，经过几天的硬啃，终于完成了代码。话不多说，下面一起看一下如何用K-近邻算法实现识别手写数字。[例子与代码摘自《机器学习实战》]   简单起见，该算法只能识别0~9的数字。这里识别算法首先，咱们将数字的图像使用图形处理软件，处理成相同大小：宽高均为

有几天没写博客了，最近工作上的事情比较多，没抽出时间来看书学习。趁今天有点空，一起学习一下k-近邻算法(KNN)，这个算法是监督学习里的分类问题，主要是用来根据数据的特征，将样本分为不同类别的算法，咱们下面慢慢来学习。KNN算法定义：  KNN算法是比较容易理解的分类算法，KNN是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的

[本文内容参考周志华《机器学习》]   前两篇博客分别介绍了决策树的概念【十五】机器学习之路——决策树（1）和决策树的三种算法【十六】机器学习之路——决策树算法（2），今天讲一下决策树的剪枝。   我们种树的时候给树剪枝是为了树长的更加美观，而给决策树剪枝是为了解决决策树中”过拟合”的问题。决策树学习中，为了尽可能正确的分类样本数据，节点划分过程将不断重复，有时候会造成分支过多，这时就可能因为训

上一篇博客机器学习之路——决策树(1)介绍了决策树的基本概念以及决策树的生成法则，今天主要介绍一下三种不同的决策树生成算法：ID3/C4.5/CART。ID3算法是由Quinlan在1986年提出的，C4.5是其在1993年提出的，而CART算法是Breiman等人在1984年提出的。   三种不同的算法主要区别就是特征选择的标准不同：ID3  ID3算法的核心是在各个节点应用信息增益准则来选

决策树 (DecisionTree)[写在前面：写完博客后发现，这篇博客字数比较多，写博客的时候想把决策树讲的简单点，让大家更容易理解，刚接触决策树的同学请耐心看，会有所收获的。本博客内容参考了周志华的《机器学习》] 1. 决策树简介  今天来学习一下监督学习里的另一种算法：决策树。为什么叫树呢？我们小时候上美术课的时候，老师教我们画最简单的树：就是一根树干，然后很多树枝，然后树枝上又有一些小树

上一个博客讲了一个简单的例子，根据手头的房子大小和房价的数据来拟合房子大小和房价的关系曲线，当然这是一个非常简单的一元一次方程，y=ax+b。但是最后咱们还少了一样东西，不知道细心的同学有没有发现，那就是咱们拟合曲线的准确度到底有多少呢？怎么来检测咱们拟合曲线到底有多完美呢？用什么来验证咱们的准确度呢？  带着一肚子疑问，咱们就先来介绍一下数据拟合中的训练集，测试集，验证集。字比较多，但都很容易懂，

[本文内容参考Peter Harrington《机器学习实战》] 最近工作有点忙，感觉自己有点懈怠了，要坚持！   前面几篇博客介绍了决策树的理论知识机器学习之路——决策树（1）,机器学习之路——决策树算法（2）,机器学习之路——决策树剪枝（3） ，学习理论的目的最终为了解决实际问题，今天来一起看看如何用Python来实现决策树算法。话不多说，直接上代码。   首先，实现计算信息增益的部分代码

  前面的博客线性回归python实现讲了如何用python里sklearn自带的linearRegression()函数来拟合数据的实现方式。今天咱们来介绍下，如何用梯度下降法拟合数据。   还记得梯度下降法是怎么做的吗？忘记的同学可以回头看下前面的博客线性回归。咱们还是拿之前博客线性回归python实现里的数据进行讲解。   假设咱们现在想用y=θ1⋅x+θ0y=θ1⋅x+θ0y=\the...

前面一个博客机器学习之路——logistic回归讲了logistic回归的理论知识，现在咱们来看一下logistic回归如何用python来实现，代码、数据参考《机器学习实战》。   首先看下我们要处理的数据， 我们要做的就是通过logistic回归的方法，拟合一条曲线将红色和绿色的点区分开来。话不多说，直接上代码，代码里我已经尽可能的加了注释，让大家更容易看懂： #!/usr/bin/e

前面的博客咱们介绍了监督学习里回归的一种——线性回归，今天咱们讲一下另外一种很重要的回归——逻辑回归（Logistic Regression）。 逻辑回归（Logistic Regression）   之前咱们说的线性回归，举的例子是房价的预测的例子，手头有房子大小和对应房价的数据，然后通过模型拟合数据，最后输出预测的房价，100万，110万等。线性回归输出的值都是连续的，现实中还有一种情况，

本来想在上一篇博客里把线性回归python实现给写完的，白天抽空就写了一下python里的几个数据处理需要用到的库函数，后面就没时间了。现在开始讲一下具体的问题例子，例子比较简单。   还是拿之前房价预测的数据来举例子，我来把之前博客里的房子大小和房子价格的数据搬过来 房子尺寸/平方米 房子价格/万 100 120 80 92 120 143 75 87

上一篇博客线性回归里提到了如何利用线性回归的方法解决房价预测的问题，理论知识大家已经了解了，现在来说一下如何用python代码来实现这个方法，个人感觉机器学习的理论掌握占8成，编码占2成，在这里编码只不过是将理论计算让计算机来实现而已，python入门较容易，没学过python没关系，慢慢进步。  首先介绍一下python里线性回归用到的库，python很强大的功能就是这些库，实现代码的过程中不需要

前面的博客里写到了机器学习里有监督学习、无监督学习、强化学习三种。咱们先来学习一下监督学习里比较基础且重要的线性回归（Linear Regression）。线性回归(Linear Regression)   监督学习里分为两类问题，回归和分类。其中回归就是前面提到的房价预测类的问题，想必大家对线性回归已经有了概念上的理解，下面咱们还是以房价预测为例子讲解一下线性回归。   我们目前手头有一组房子尺

机器学习的主要技术分为以下三个方向：监督学习、无监督学习、强化学习。下面分别来介绍这几种技术。监督学习（Supervised Learning）  首先，顾名思义监督意思是你做一件事情的过程中，有个人负责不断鞭策、监视督促你，就像我们在学校学习的时候有个老师一直监督着我们，告诉我们这道题怎么做，结果是什么。   监督学习简单的说法就是我们手里有一组数据，就像上一篇博客里提到的，房子尺寸和房子价

What is Machine Learning写在前面：本博客所写内容均为本人自学笔记，如有错误之处，还请各位大神多多指教，谢谢。什么是机器学习先来看看百度对机器学习的定义：   机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知

写在前面：[本篇博文参考吴恩达的《机器学习》课程——浅层神经网络、周志华《机器学习》。 墙裂建议大家先看一下知乎里的一个博主的回答，如何简单形象又有趣的讲解神经网络是什么，非常适合入刚上路的小白。 同时推荐大家先学习机器学习之路——logistic回归后再来看这篇博客。]  今天来讲一下神经网络，神经网络这个概念很早以前就已经有人提出，目前神经网络是一个相当大的、多学科交叉的领域。许多...