Maynor的博客

复杂度J(f)就越大；反之，模型f就越简单，复杂度J(f)就越小，也就是说，复杂度表示对复杂模型的惩罚，lambda>=0是系数，是用以权衡经验风险和模型复杂度，结构风险小需要经验风险与模型复杂度同时小，结构风险小的模型往往对训练数据以及未知的测试数据都有较好的预测。正则化项符合奥卡姆剃刀原理，在所有的可能的模型中，能够很好的解析已知数据并且十分简单的模型才是最好的模型，从贝叶斯估计的角度来看，正则化项对应于模型的先验概率，可以假设复杂的模型有较小的先验概率，简单的模型有较大的先验概率。

注意：模型的过拟合是无法彻底避免的，我们能做的只是缓解，或者说减小其风险，因为机器学习面临的是NP难问题（这列问题不存在有效精确解，必须寻求这类问题的有效近似算法求解），但是有效算法必然是在多项式时间内运行完成的，因此过拟合是不可避免的。当n取值越高的时候，当前样本的数据能够很好的拟合，但是在新的数据上效果却很差，这时出现了过拟合情况。，可以调整不同的k1、k2和k3的值，同时也对应了不同的拟合直线，我们希望可以从这些参数中找到拟合较好的直线，但不能过分的好，因为我们要考虑当新数据来了模型的分类情况。

我们使用机器学习预测模型的工作流程讲解机器学习系统整套处理过程。整个过程包括了数据预处理、模型学习、模型验证及模型预测。其中数据预处理包含了对数据的基本处理，包括特征抽取及缩放、特征选择、特征降维和特征抽样；我们将带有类标的原始数据划按照82原则分为训练数据集和测试集。使用训练数据集用于模型学习算法中学习出适合数据集的模型，再用测试数据集用于验证最终得到的模型，将模型得到的类标签和原始数据的类标签进行对比，得到分类的错误率或正确率。当有新数据来的时候，我们可以代入模型进行预测分类。

统计学习=模型+策略+算法模型：规律y=ax+b策略：什么样的模型是好的模型？损失函数算法：如何高效找到最优参数，模型中的参数a和b机器学习中，首先要考虑学习什么样的模型，在监督学习中，如模型y=kx+b就是所要学习的内容。模型通常分为****决策函数**条件概率分布****由决策函数表示的模型为非概率模型，由条件概率分布表示的模型为概率模型。评价模型的好坏，使用损失函数进行度量，模型给出的值与实际真实值存在的差别。机器学习的算法就是求解最优化问题的算法。

除了上述学习方式，还有深度学习、迁移学习等学习方式，一般深度学提取特征、强化学习解决连续决策，迁移学习解决模型适应性问题。下面对迁移学习能解决那些问题?l 小数据的问题。比方说新开一个网店，卖一种新的糕点，没有任何的数据，就无法建立模型对用 户进行推荐。

如果希望学得一个能帮助我们判断西瓜是不是“好瓜”的模型，仅仅有前面的样本数据是不够的，要建立这样的关于“预测（prediction）”的模型，我们需要获得训练样本的“结果”信息，如：{（颜色=青绿，敲声=浊响），好瓜}。这里的结果信息，称为样本的“”（data set），其中每条记录是关于一个事件或对象（这里说的是西瓜）的描述，也称为一个“样本”（sample）。在中学阶段的函数可表示为y=f(x)，这里的f指的是通过学习得到的模型，对于测试x，可得到其预测标记y=f(x)。训练过程中使用的数据称为“

在开始讲解术语概念之前我们首先梳理下之前讲到的一些概念。（基本认识）机器学习专门研究计算机怎样模拟或实现人类的学习行为，使之不断改善自身性能。是一门能够发掘数据价值的算法和应用，它是计算机科学中最激动人心的领域。我们生活在一个数据资源非常丰富的年代，通过机器学习中的自学习算法，可以将这些数据转换为知识。（机器学习库）借助于近些年发展起来的诸多强大的开源库，我们现在是进入机器学习领域的最佳时机。

走到水果摊旁，挑了个色泽青绿、敲起来声音浊响的青绿西瓜，一边期待着西瓜皮薄肉厚瓤甜的爽落感，一边愉快地想着，明天学习Python机器学习一定要狠下功夫，基础概念搞得清清楚楚，案例作业也是信手拈来，我们的学习效果一定差不了。最大的一个区别就是它现在真的是深入到我们生活的每一个角落，打开你的手机看看，淘宝，智能推荐，拍一拍，谷歌翻译，搜索引擎，智能出行，智能规划，微信，智能助理，头条，智能推荐，还有机器识别，其实它已经深入的改变了我们生活的每一个角落，而将来它会改变更多。用机器学习的方法来进行数据挖掘。