- 博客(8)
- 资源 (17)
- 收藏
- 关注
RSS订阅
原创 机器学习
1前序文中的内容均来源于机器学习书籍、博客和他人的学习笔记。文中主题包括无监督性学习，监督性学习和特征工程。文中的目录如下，后续行为均按此目录进行。 2概念机器学习（Machine Learning）是什么？目前，业界的许多专业人士均给出了不同的点定义解释。其中，有2种定义最为著名，第一种机器学习的定义来自于50年代的Arthur Samuel。他定义机器学习为:在进...
2020-06-14 20:31:22
1451
原创 为什么L2正则化可以防止过拟合？
拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。那为什么L2正则化可以获得值很小的参数？参考资料:https://blog.youkuaiyun.com/jinping_shi/article/.
2020-07-20 19:59:56
623
原创 为什么L1正则化可以产生稀疏模型？L2正则化具有稀疏性？
（L1是怎么让系数等于零的）假设有如下带L1正则化的损失函数：L1正则化类似，假设有如下带L2正则化的损失函数：通用可以画出它在二维平面的图形，如下图所示;L2正则化参考资料:https://blog.youkuaiyun.com/jinping_shi/article/details/52433975...
2020-07-20 19:56:29
683
原创 L1正则化为什么要生成一个稀疏矩阵？
L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。为什么要生成一个稀疏矩阵？稀疏矩阵指的是很多元素为0，只有少数元素是非零值的矩阵，即得到的线性回归模型的大部分系数都是0。通常机器学习中特征数量很多，例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）。在预测或分类时，那么多特征显然难以选择，但是如果代入这些特征得到的模型是一个稀疏模型，表示只有少数特征对这个模型有贡献，绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即
2020-07-20 19:49:32
850
原创 机器学习之正则化
1 正则化正则化（regularization）是结构风险最小化策略的实现，是在经验风险上加一个正则化项（regularizer）或罚项(penalty term)。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模型参数向量的范数。正则化一般具有如下形式： 其中，第一项是经验风险，第二项是正则化项，λ是调整经验风险和正则化间的系数，称为正则化系数。正则化项可以取不同的......
2020-07-20 18:59:59
6296
1
原创 机器学习之过拟合与欠拟合
1 机器学习中的误差一般地，将学习器(机器学习模型)的实际预测输出与样本的真实输出之间的差异称为“误差”(error)。统计学习的目的是使学到的模型不仅对已知数据而且对未知数据都能有很好的预测能力。不同的学习方法会给出不同的模型。当损失函数给定时，基于损失函数的模型的训练误差（training error）和模型的测试误差（test error）就自然成为学习方法评估的标准。注意，统计学习方法具体采用的损失函数未必是评估时使用的损失函数。当然，让两者一致是比较理想的。 ......
2020-07-07 21:11:48
4795
原创 机器学习三要素
1 机器学习三要素机器学习方法由都是由模型、 策略和算法(优化算法)构成的， 即机器学习方法由三要素构成， 可以简单地表示为：方法＝模型＋学习准则＋优化算法；学习准则亦可统称为策略，所有涉及到的机器学习方法均拥有这三要素。可以说构建一种机器学习方法就是确定具体的其三要素。2 模型机器学习模型可以分为线性方法和广义线性方法；线性方法模型：3 学习准则有了模型的假设空间，机器学习接着需要考虑的是按照什么样的准则学习或选择最优的模型。机器学习的目标在于......
2020-06-26 17:05:35
11252
1
原创 机器学习之梯度下降法
1 梯度的定义 梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。 在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。（注意：梯度是一个向量） 梯度的方向是函数f增长最快的方向，梯度的反方向是f降低最快的方向；在远离最优解的时候梯度大，在靠近最优解的时候梯度小。（注意：梯度是一个向量）梯度的方向是函数f......
2020-06-19 22:34:34
737
UShenDu.exe
2020-07-10
棒！灰色关联析方法.ppt
2020-07-10
Qt-SerialPort-Demo.rar
2020-07-10
GD32F207xx_Datasheet_Rev2.0.pdf
2020-07-10
LAN8720A.PDF
2020-07-10
LAN8700.PDF
2020-07-10
uclinux源码下载网站.txt
2019-08-16
1588v2（ptpd）测试
2019-03-30
itc02基准电路
2019-03-28
数据库oracle10g服务器
2019-03-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人