机器学习核心问题解析与实践

1、如果用阶跃函数代替符号函数会发生什么？具体来说，应该如何改变学习率以获得相同的结果？

用阶跃函数代替符号函数时，两种误差项存在关系：

$$
\delta_{\text{sgn}} = 2 \delta_{\text{step}}
$$

为了得到与使用符号函数时完全相同的更新，需要将学习率定义为使用符号函数时的两倍，即：

$$
\eta_{\text{step}} = 2 \eta_{\text{sgn}}
$$

2、能否实现一个将数字分为质数和非质数两类的统计机器学习应用？这与鲑鱼和鲈鱼的例子有什么主要区别？

可以实现将数字分为质数和非质数两类的统计机器学习应用。首先要提取数字的特征，如数字大小、奇偶性等，将每个数字表示为特征向量。然后用已知的质数和非质数样本进行训练，选择合适的分类算法，如感知机、逻辑回归等，确定分类边界。在分类时，根据未知数字的特征向量和分类边界判断其属于质数还是非质数。

与鲑鱼和鲈鱼例子的主要区别在于：

- 一是对象不同，一个是数字，一个是鱼类；
- 二是特征不同，数字的特征是数学属性，鱼类的特征是生物学属性；
- 三是数据来源不同，数字数据是抽象的数学数据，鱼类数据来自生物观察和测量。

3、考虑以下一组某群体人员的身高测量值（单位：厘米）：这组数据的高斯分布的最大似然参数是什么？大致绘制出该高斯分布。（注：题目应补充具体身高测量值，但按现有规则保留题目原样）

一维高斯分布参数估计与绘制

一维高斯分布的最大似然参数由样本均值和标准差定义，需要先计算样本均值和标准差。

参数计算方法

• 样本均值计算 ：将所有身高测量值相加，再除以测量值的数量。
• 标准差计算 ：
  1. 计算每个测量值与均值的差的平方。
  2. 求这些平方的平均值。
  3. 取该平均值的平方根。

高斯分布绘制

得到参数后，可将高斯分布写为关于 $ x $ 的函数，并绘制出大致的高斯分布曲线。

4、假设1表示真，0表示假，考虑以下特征和类别：特征X1为“处理速度快”，特征X2为“电池续航不错”，特征X3为“相机效果好”，特征X4为“外观和手感佳”，特征X5为“使用便捷”，类别为“是否为iPhone”。给定一个训练集，查询向量x = [1 1 1 1 1]ᵀ。a) 不做任何假设，使用贝叶斯规则计算该查询向量所属的类别。

小的训练样本不足以做出决策。若通过计数和归一化来估计概率，似然分布中会有很多零，导致无法计算后验概率。不过，分类器输出的标签 C = 0 ，这意味着该查询向量对应的不是 iPhone。

5、从以下训练集中来看：如果存在缺失特征，你会怎么做？更具体地说，在朴素贝叶斯假设下，xmissing = [ 1 ? 1 ? 1 ]T 属于哪个类别？注：训练集需额外提供，这里假设训练集是可用于此问题计算的合适数据集。

计算现有特征的后验概率，类别 b 是唯一具有非零概率的类别，分类器输出标签 C = 0 ，意味着不是 iPhone。

6、假设1表示真，0表示假，考虑以下特征和类别：特征X1为“体重（千克）”，特征X2为“身高（厘米）”，类别为“NBA球员”。给定以下训练集以及查询向量x = [100 225]ᵀ。a) 假设似然函数是二维高斯分布，计算查询向量最可能的类别。

首先估计先验概率，接着找出对似然函数建模的两个类别条件二维高斯分布的参数：

• 均值向量：$\mu_1, \mu_2$
• 协方差矩阵：$\Sigma_1, \Sigma_2$

然后计算后验概率：

$$
P(C_i|x) = \frac{P(x|C_i)P(C_i)}{P(x)}
$$

比较分子后，该查询向量被分类为NBA球员。

7、考虑一个数据集，使用 ID3 算法计算第一个要测试的属性。

在使用 ID3 算法计算第一个要测试的属性时，需先计算树的原始熵，接着对每个可添加到树的可能特征测试进行如下操作：

1. 计算每个可能特征赋值所创建的分区表；
2. 计算每个分区的总熵；
3. 通过取所有分区熵的加权平均值计算新的熵；
4. 通过计算原始熵与新熵的差值来计算该测试的信息增益。

最后选择提供最高信息增益的特征并将其添加到树中。

8、判断决策树是否能够学习以下逻辑函数，如果可以，绘制相应的决策边界。a) 与（AND）函数

要证明可行，只需创建一个能解决该问题的决策树即可，下面给出的决策树可以解决此问题，对应的决策边界如下所示。

9、判断决策树是否可以学习或运算逻辑函数，如果可以，绘制相应的决策边界。

要证明可行，只需创建一个能解决该问题的决策树即可，下面的决策树可以做到，相应的决策边界如下所示。

10、思考决策树为何能比感知机表示更复杂的函数。同时思考树的大小与空间可划分区域数量的关系。你能想到为什么在构建树时需要一个好的启发式方法吗？为