studyorlearn的博客

机器学习的动机？人们在现实世界中在越来越多的事物上输给了机器。例如计算速度。但是机器很死板，只能按照固定的程序来运作。就像编程中的硬代码。人刚出生的时候，也是懵懂无知，刚开始学习的时候也是别人给我们填充，和机器的硬代码差不多。所以我们也希望能教会机器学习、让他自己学习。从而让机器在更多人类无法做到或者做得不够好的领域发挥更大的作用。学习是什么样的一个过程？人类在刚开始学习的时候是父母教我们说...

上一篇讲述了什么是机器学习。是不是感觉发现了新大陆？以后机器学会自己学习后是不是要统治人类的脑洞都冒出来了？但这些仅仅是我们的愿景。我们还得关心一个现实问题：机器到底能不能学习，学得好不好？人是自认为是高等生物，拥有学习能力。其他动物也是有生命的，也会发声，运动，多数通过训练形成条件反射后获得一些额外的能力，但是学习能力低下，多用来供人类玩耍，取乐。本篇主要讲解机器学习到底行不行？...

什么是过拟合、欠拟合？读书时，身边经常有一些学生，没日没夜的刷题，练习册上的题几乎都能背下来。但是一到考试遇到没见过的题时就不会做了。这就是过拟合。过拟合指一种现象：如果当前的假设空间存在“真”模型，学习时选择的参数过多以至于对训练集有很高的拟合能力，而对未知数据的拟合能力很差。而有另外一些学生，那些平时不怎么学，考试时自然不会。欠拟合：如果当前的假设空间存在“真”模型，学习的参数太少了，对当...

陆陆续续学习机器学习好几个月了。以前的笔记都在纸质笔记本上。被鄙视了，同时听说写博客也很有益于交流。特写个博客来总结下所学内容。先占坑，把目录定好，后续补博客总结连接。由于主要看了统计学习和林轩田的课程，故里面的内容多来自于以林轩田的课程，穿插西瓜书和统计学习，辅以部分网络文章。

本篇文章主要写感知机和SVM。思路：引入感知机模型。证明线性可分数据集上感知机一定能区分数据集，即Ein=0E_{in} = 0Ein​=0，且迭代次数有限。引入梯度下降等概念，并解释为何它能起作用介绍感知机的对偶形式引出SVM的需求。引入函数间隔和几何间隔的概念用有条件解引出原始形式和对偶形式。得到KKT条件。引出SVM的对偶形式，得到支撑向量通过非线性的需求，引出kernel。证...

本文主要知识点：①三个诸葛亮顶一个臭皮匠——Blending②非线性融合——Stacking③bagging④adboost、随机森林、梯度提升树、xgboost、lightBGM