bwqiang的博客

转载一篇文章  主成分分析 线性判别分析foundations of machine learning 中的问题 需要再次撰写降维之前：降维之后：

  《机器学习实战》这本书对于我们了解机器学习原理和代码实现提供了很大的帮助，源码和数据集的下载在其英文版的官方网站进行下载：https://www.manning.com/books/machine-learning-in-action。  进入到该网站页面后（很慢），下拉在左侧，点击Source Code即可下载，如下图所示：  当然，上述方法下载速度极慢，可以直接在下方链接百度网盘上下载我已经下载好的源码和数据集：链接：https://pan.baidu.com/s/1U07inpoWhbP

  前几天面试了一个互联网小公司的算法岗，结果面试官避开了所有的应用项目问题的考察转向对我理论只是的考察，但回答的不是很理想，所以承接着上一个博客和这个博客有可能还有下一个博客，好好的将机器学习中的基本理论知识透彻地总结一下。  损失函数一般的写法是L(y,f(x))L(y,f(x))L(y,f(x))，是指通过机器学习模型预测出来的样本的标签和样本真实的标签的某个不一致的度量。损失函数一般是越小越好。  在回归问题中，损失函数表示为：y−f(x)y-f(x)y−f(x)；在分类问题中，表示为：yf(x

0、分类问题和回归问题的区别分类预测建模问题与回归预测建模问题不同。分类1、衡量分类问题的性能指标（classification）损失函数一般的写法是L(y,f(x))L(y,f(x))L(y,f(x))，是指通过深度学习模型预测的样本的标签和样本真实的标签的某个不一致的度量。一般是越小越好。回归问题中的损失函数2、衡量回归问题的性能指标（Regression）...

4、机器学习中的不等式  上篇博文《机器学习中的数学（中）》讲述了机器学习中的概率论的问题，这篇博文主要阐述一些机器学习中常用的不等式。  由于每个不等式的证明均比较复杂，所以本博文暂不给出证明过程。学会利用不等式即可。4.1 霍夫丁不等式（Hoeffding’s inequality）定义4.1：霍夫丁不等式（Hoeffding’s inequality）...

3、概率问题  这一部分，我们简要说明一些概率论的基本概念。3.1 概率（Probability）  概率空间是一个由三个部分组成的三元组：一个样本空间，一个事件集和一个概率分布。样本空间Ω\OmegaΩ：一次试验中所有基本事件或可能输出结果的集合。事件集F\mathcal FF：样本空间中的一个子集。概率分布：P\mathbb PP是将所有事件F\mathcal FF的集合的映射到[0,1][0,1][0,1]，即P[Ω]=1\mathbb P[\Omega]=1P[Ω]=1，对所有互斥事件

  上篇博文介绍了《机器学习之支持向量机》发现利用到了梯度、凸优化、拉格朗日对偶性等等数学问题。凸优化是本科非数学专业学不到的科目，所以这篇博文就要和大家分享一下机器学习中常用的数学概念。  博文重点：线性代数。凸优化。概率论。机器学习中常用的不等式。1、线性代数  这部分介绍一些机器学习中常用的线性代数知识点。1.1 向量和范数  这一部分将通过H\mathbb HH来定义一个维数可能是无限的向量空间。1.1.1 范数定义1： 映射Φ:H→R+\Phi:\mathbb H\rig

  上篇博文机器学习之Rademacher复杂度和VC维度，讲述了衡量假设集复杂程度即假设集拟合随机噪声的丰富性的方法，从这一篇博文开始讲述机器学习领域的一个重要算法——支持向量机（SVM）。...

tags:- VC维- Rademacher复杂度categories: 机器学习mathjax: true  机器学习中常用的假设集是无限的。但是，在处理无限假设集时，上一章的样本复杂性界限是不能提供信息的。有人可能会问，当假设集HHH为无穷时，是否有可能有效地学习有限样本是可能的，至少在某些情况下，因为证明了无限概念类是PAC可学习的。所以在这一节目标将是推广这个结果并推导出无限假设集的一般学习保证。  这样做的一般思路是将无限情况简化为对有限组假设的分析，然后像前一章那样继续下去。有不.

  当大家通过示例设计并分析算法的时候，有没有可能对以下几个问题产生疑虑：什么样的算法能够有效地学习数据特征？学习起来的困难是什么？用多少示例去训练算法才能叫成功的训练算法？存在普遍的模型去学习吗？  这篇文章就通过介绍PAC学习框架来解决这些问题。PAC学习框架（Probably Approximately Correct (PAC) learning framework）就是从能...

一、引言机器学习的广义定义为通过使用经验（experience）来提高性能和做精准预测的计算方法。-你好你好你好你好[是的]sequenceDiagram张三 ->> 李四: 你好！李四, 最近怎么样?李四-->>王五: 你最近怎么样，王五？李四--x 张三: 我很好，谢谢!李四-x 王五: 我很好，谢谢!Note right o...