庐州小白的博客

文中提到，在机器学习的过程中，过拟合总是无法彻底避免的。其中，关于P与NP的论述，个人理解为：对于一个有效的算法，它一定要在多项式时间内运行完成。此时，算法可以恰当程度地学习到所需要的知识，也就是说既不会欠拟合，也不会过拟合，此时学习得到的模型是最优的。但是通常而言，机器学习问题是NP-Hard，甚至更难的问题，倘若多项式时间的算法可以解决NP-Hard问题。也就是说，我们创造性地证明了P=NPP=NPP=NP，这个计算机理论难题。然而，当前我们一般认为NP-Hard问题多项式时间内不可解。也就是说，过..

1. Softmax函数另称归一化指数函数，它可以将包含任意实数的 kkk 维向量ZZZ 压缩到另一个 kkk 维实向量 σ(Z)\sigma(Z)σ(Z) 中，使得每一个元素的范围都在 (0,1)(0,1)(0,1) 之间，并且所有元素的和为 111。对于每个 jjj，满足：σ(Z)j=eZj∑i=1neZi\sigma(Z)_j = \frac{e^{Z_j}}{\sum_{i=1}^n e^{Z_i}}σ(Z)j​=∑i=1n​eZi​eZj​​import numpy as npimpo

强化学习的概念​ Reinforcement Learning，强化学习，有时也称作增强学习。简单来说，强化学习就是希望受试者能够基于经验，对当前环境做出反应，以获得最大的长期回报。​ 在这个简单描述中涉及到了几个强化学习中的常见概念：Agent: 译作智能体，也就是上述的受试者。System Environment: 系统环境，它可以看作强化学习的设定，因而拥有上帝视角，可以看到环境转化...

绪论假设空间：即所有可能的假设。他无关训练过程，是基本样本的可能做出的判断版本空间：所有与训练集匹配的假设集合奥卡姆剃刀（Occam’s razor）：若有多个与观察一致的假设，则选择其中最简单的一个。||这个说法涉及到对于简单的定义。在多数场合，简单可以直接判断，例如：线性比非线性简单。但是在机器学习的很多场合，简单是难以直观定义的。没有免费的午餐（No free lunch Theo...

1.1 统计学习方法的三要素：模型、策略、算法。模型：题设已经交代清楚，问题数据服从伯努利分布。即为伯努利模型算法：对于每一个样本AiA_iAi​，假设P(Ai=1)=θ,P(Ai=0)=1−θ\mathbb{P}(A_i=1)=\theta,\mathbb{P}(A_i=0)=1-\thetaP(Ai​=1)=θ,P(Ai​=0)=1−θ。依据对数损失函数定义，使用极大似然估计，得到：θ^...

定理（AdaBoost的训练误差界）： AdaBoost算法最终分类器的训练误差界为：1N∑i=1NI(G(xi)≠yi)≤1N∑i=1Nexp(−yif(xi))=∏mZm\begin{aligned}\frac{1}{N}\sum_{i=1}^N \mathtt{I} (G(x_i) \neq y_i) \leq \frac{1}{N}\sum_{i=1}^N\mathtt{exp}(-...