七月在线机器学习笔试题错题记录1

解析：

随机事件 X 所包含的信息量与其发生的概率有关。发生的概率越小，其信息量就越大；反之，必定发生的事件（如太阳东升西落），其信息量为 0。
信息量公式：I(X) = −logp(X) ，其中 I 是 information 的缩写。
信息量公式的单位：
log 以2为底，记作lb，单位比特（bit）
log 以e为底，记作ln，单位奈特（nat）
log 以10为底，记作lg，单位哈脱来（hat）
信息熵：随机变量 X 不确定性的度量，是对 X 所有可能值产生的信息量的期望。
信息熵公式：

由公式可知：信息熵只与随机变量X的概率分布 p(x) 有关。
条件熵：表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。
条件熵公式：

由选项单位为 bit 可知，log 函数以2为底，故将p(x=-1)=1/4，p(x=1)=3/4，p(y=0|x=-1)=1/5，p(y=1|x=1)=3/4，p(y=0|x=1)=1/4 代入条件熵公式得：

 解析：

对于A，势函数法：势函数非线性。
对于B，基于二次准则的H-K算法：在最小均方误差准则下求得权矢量，可以解决非线性问题。
对于C，伪逆法：径向基（RBF）神经网络的训练算法，解决线性不可分的情况。

对于D，感知器算法：线性分类模型。
“不能求解线性不可分情况下的分类问题” 即：“不能求解非线性分类问题”，感知器算法属于线性分类模型，故不能