feng_zhiyu的博客

一文搞懂HMM（隐马尔可夫模型）

线性模型基本形式线性回归给定一个数据集：线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。一元线性回归一元线性回归的基本形式求解线性回归参数最小二乘法求解回归方程推导过程：最小二乘法求回归方程的推导多元线性回归参见：https://segmentfault.com/a/1190000016091382#articleHead...

参数 意义 备注 penalty 用于指定惩罚项中使用的规范     惩罚项，str类型，可选参数为l1和l2，默认为l2。 dual 对偶或原始方法 对偶方法只用在求解线性多核(liblinear)的L...

解密SVM系列（一）：关于拉格朗日乘子法和KKT条件：https://blog.youkuaiyun.com/on2way/article/details/47729419原文见：http://www.hankcs.com/ml/lagrange-duality.html (adsbygoogle = window.adsbygoogle || []).pus...

带你搞懂朴素贝叶斯分类算法带你搞懂朴素贝叶斯分类算贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。这篇文章我尽可能用直白的话语总结一下我们学...

在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结...

部分来自：https://blog.youkuaiyun.com/ZK_J1994/article/details/76019650数据竞赛类网站Kaggle 阿里巴巴天池大数据比赛 DataCastle CCF大数据与计算智能大赛 Di-Tech算法大赛 KDD-Cup KDnuggets Competition 全国高校云计算应用创新大赛 Byte Cup国际机器学习竞赛 WID...

简介：一种用来 classification 和 regression 的无参监督学习方法。目的：创建一种模型从数据特征中学习简单的决策规则来预测一个目标变量的值。决策树的优势:便于理解和解释。树的结构可以可视化出来。训练需要的数据少。其他机器学习模型通常需要数据规范化，比如构建虚拟变量和移除缺失值,不过请注意，这种模型不支持缺失值。由于训练决策树的数据点的数量导致...

参考博文：决策树之理解ID3算法和C4.5算法下面是个人对决策树部分算法的摘要后面会有sklearn或者使用python实现算法，更新中……参考资料：《统计学习方法》李航著...

欢迎关注个人博客：枫之羽前言　　　这部分内容侧重于机器学习的应用以及如何使用sklearn和调优。该部分内容基于Udacity的机器学习入门课程，偏重实践，有兴趣的可以看看，也可以一起学习。１、朴素贝叶斯训练分类器from sklearn.naive_bayes import GaussianNBclf = GaussianNB() # 创建分类器clf.fit(fe...

　　　　集成学习(ensemble learning)不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。个人理解为“取其精华去其糟粕”，“博采众长”。集成学习可以应用于分类问题集成、回归问题集成、特征选取集成和异常点检测集成等等。概述下图是集成学习的一般结构：先产生一组“个体学习器”，再用某种结合策略可以得到一个强学习器。下图来自集成学习概述。　在《机器学习》...

原文：使用sklearn进行集成学习——实践系列《使用sklearn进行集成学习——理论》 《使用sklearn进行集成学习——实践》目录1 Random Forest和Gradient Tree Boosting参数详解2 如何调参？　　2.1 调参的目标：偏差和方差的协调　　2.2 参数对整体模型性能的影响　　2.3 一个朴实的方案：贪心的坐标下降法　　　　2.3.1...

前言        朴素贝叶斯（naive Bayes algorithm）算法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯算法实现简单，学习与预测的效率都很高，是一种常用的方法。朴素贝叶斯分类基本公式 朴素贝叶斯分类器...

机器学习中的范数规则化之（二）核范数与规则项参数选择zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09        上一篇博文，我们聊到了L0，L1和L2范数，这篇我们絮叨絮叨下核范数和规则项参数选择。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。...

机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09        今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较...

一、CRF++工具包的下载下载地址 CRF 的工具有两种，一种是支持Linux环境的，一种是支持Windows环境的，大家可以自行根据自己的系统进行下载。 （在此我下载的是CRF++0.54）在windows下安装很简单，解压到某目录下即可。 在此附CRF理论及工具包的使用讲解：https://wenku.baidu.com/view/5f805e0d8762caaedd33d49...

【简单学习机器学习】简单易学的机器学习算法——Logistic回归

【简单学习机器学习】简单易学的机器学习算法——SVD奇异值分解

【简单学习机器学习】深入浅出--梯度下降法及其实现

接着上次的【windows下CRF++的安装与使用】。得到了一个CRF模型文件：4_model.txt文件中的大致内容：version: 100cost-factor: 1maxid: 1000196xsize: 1BEMSU00:%x[-1,0] U01:%x[0,0] U02:%x[1,0] U03:%x[-1,0]/%x[0,0] U04:%x...

说着学习机器学习，但是一直都没有真正的写一点什么，那么就从今天开始吧。 题为机器学习基础，那么这里是机器学习的一些概念及分类。（大佬请绕行）也是自己学习《Python机器学习算法》的学习笔记。绪论随着时代的发展，大量网络应用出现在生活中，各种智能设备出现使数据的收集变成现实，同时，计算机的计算能力得到了很大的提高，如何从大量数据中提取有价值的信息成了很重要的课题，机器学习就是这样一种...

正如上一篇文章所提到，分类算法是典型的监督学习，训练样本中包含样本的特征和标签信息。**逻辑回归（Logistic Regression）**算法是一种广泛使用的分类算法（二分类），通过训练数据中的正负样本，学习样本特征到样本标签之间的假设函数，它是典型的线性分类器。算法的复杂度低、容易实现等特点，在工业界得到广泛应用。#逻辑回归模型逻辑回归模型是广义线性模型的一种，属于线性的分类模型...

学习和使用机器学习算法开发应用程序的步骤：(1) 收集数据。我们可以使用很多方法收集样本数据，如：制作网络爬虫从网站上抽取数据、从RSS反馈或者API中得到信息、设备发送过来的实测数据（风速、血糖等）。提取数据的方法非常多，为了节省时间与精力，可以使用公开可用的数据源。(2) 准备输入数据。得到数据之后，还必须确保数据格式符合要求，采用的格式是Python语言的List。使用这种标准数据格式可以融...

k-近邻算法k-近邻算法概述简单地说， k-近邻算法采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。 缺点：计算复杂度高、空间复杂度高。 适用数据范围：数值型和标称型工作原理存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的...

原文见：https://blog.youkuaiyun.com/google19890102/article/details/23924971 一、近邻算法(Nearest Neighbors)1、近邻算法的概念 近邻算法(Nearest Neighbors)是一种典型的非参模...

前言：           “啤酒与尿布”的例子相信很多人都听说过吧，故事是这样的：在一家超市中，人们发现了一个特别有趣的现象，尿布与啤酒这两种风马牛不相及的商品居然摆在一起。但这一奇怪的举措居然使尿布和啤酒的销量大幅增加了。这可不是一个笑话，而是一直被商家所津津乐道的发生在美国沃尔玛连锁超市的真实案例。原来，美国的妇女通常在家照顾孩子，所以她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫...

 # -*- coding: utf-8 -*-"""Spyder EditorThis is a temporary script file."""print("start.................")""" 导入所需要的软件包 """import pandas as pd from sklearn.linear_model impo

教材统计学习方法 机器学习资料100-Days-Of-ML-Code Scikit-Learn文档 统计学习方法参考读物 吴恩达机器学习笔记 Sklearn 与 TensorFlow 机器学习实用指南 CS229中文翻译感谢Datawhale的整理。...

从机器学习（周志华版）、统计学习方法和网络资源学习笔记。这里是图片形式。Logistic Regression更多内容见：【机器学习】线性模型Softmax Regression机器学习3.6节类别不平衡问题的学习参考资料：机器学习，周志华著统计学习方法，李航著Softmax回归逻辑回归：损失函数与梯度下降逻辑回归损失函数与最大似然估计简单易...

理论部分１.数学同济高数上下 浙大版概率 同济版线代 微积分《普林斯顿微积分读本》  线性代数  麻省理工的《线性代数及其应用》  概率论 陈希孺院士的《概率论与数理统计》  推荐视频  微积分的本质  线性代数 ２.机器学习统计学习方法（李航） 机器学习（周志华） 机器学习笔记（吴恩达） Scikit-Learn文...

原文：使用sklearn进行集成学习——理论系列《使用sklearn进行集成学习——理论》 《使用sklearn进行集成学习——实践》目录1 前言2 集成学习是什么？3 偏差和方差　　3.1 模型的偏差和方差是什么？　　3.2 bagging的偏差和方差　　3.3 boosting的偏差和方差　　3.4 模型的独立性　　3.5 小结4 Gradient Boosti...