liushui94的博客

增强学习–斯坦福公开课（吴恩达）案例实现增强学习作为一种重要的机器学习方法，其最显著的特点是通过与环境交互，利用环境反馈的奖惩，即增强信号来调整和改善自己的行为，最终获得最佳策略。由于该方法具有对环境的先验知识要求低，可以在实时环境中进行在线学习，因此受到许多研究者的关注，同时在智能控制，序列决策等领域也得到了广泛应用。–来自最近看了斯课斯坦福大学公开课 ：机器学习课程的第16讲，马尔科夫决策过程。

总述 感知机是一种线性二分类模型，它属于判别模型。感知机学习旨在求出将训练集进行线性划分的超平面。损失函数采用误分类的损失函数，使用梯度下降算法进行对损失函数最小化。感知机是神经网络与SVM的基础。 刚刚提到判别模型，什么是判别模型？ - 判别模型&生成模型 - 判别模型：由数据直接学习决策函数f(X)f(X)或者条件概率分布P(Y|X)P(Y|X)作为预测的模型。判别模型关系的是对于给定

综述朴素贝叶斯法是基于贝叶斯定理与条件独立假设的分类方法。 首先要知道一些基本统计学的知识： 1、条件概率 2、联合概率 3、独立性 4、独立同分布 5、贝叶斯定理 定理公式不好敲，这里偷懒就不写了，查看概率论的书，就知道了。代码实现版本1：DIY版本# coding:utf-8import numpy as npX = np.array([[1,1],[1,2],[1,2],[1,1

1.综述k近邻法（k-nearest neighbor,kNN）是一种基本的分类与回归方法。接下来只叙述分类方法。kNN是一种多分类的方法，没有显示的学习过程，它是利用训练数据集对特征向量空间进行划分，作为分类的模型。 kNN描述：给定训练数据集，对于新输入的实例，在训练数据集中找到与该实例最近的kk个实例，这kk个实例的多数属于某类，就认为这个是实例是这个类的。 kNN的三个基本要素是：k值的

1.逻辑回归模型 按照音译logistic regression应该是逻辑斯蒂回归，太难听了，就简称逻辑回归吧。 1.1 二项逻辑回归模型 二项逻辑回归模型是一种二分类模型，尽管它叫“回归”。 模型如下： P(Y=1|x)=e(w⋅x+b)1+e(w⋅x+b)....(1)P(Y=1|x)=\frac{e^{(w\cdot x+b)}}{1+e^{(w\cdot x+b)}}....

总述决策树（decision tree）是一种分类与回归方法。在分类过程中可以理解为基于特征对实例进行分类，也可以认为是if else的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。决策树学习过程通常包括三个步骤：（1）特征选择 （2）决策树的生成 （3）决策树的剪枝。决策树常用算法有ID3(Iterative Dichotomiser 3 迭代二叉树三代)、C4.5、CART