94、集成分类方法：LP 与 LDA 的结合

集成分类方法：LP 与 LDA 的结合

在数据分类领域，为了提高分类的准确性，不同的分类方法被不断研究和应用。本文将介绍 Fisher LDA 分类模型、FLP 与 Fisher LDA 的集成思想，并通过实例展示集成方法的优势。

1. Fisher LDA 模型用于分类

对于两组分类问题，目标是最大化两组中心的投影点，通过均值来估计：
$$Maximize\ f(\hat{a}) = \frac{(\hat{a}’ \overline{X} 1 - \hat{a}’ \overline{X}_2)^2}{\hat{a}’S_P \hat{a}}$$
其中，每组的样本期望 $\overline{X}_1$、$\overline{X}_2$ 和整个样本协方差 $S_P$ 分别估计如下：
- $(\overline{X}_1) {P * 1} = \frac{1}{n_1} \sum_{j=1}^{n_1} X_{1j}$
- $(S_1) {P * P} = \frac{1}{n_1 - 1} \sum {j=1}^{n_1} (X_{1j} - \overline{X} 1)(X {1j} - \overline{X} 1)’$
- $(\overline{X}_2) {P * 1} = \frac{1}{n_2} \sum_{j=1}^{n_2} X_{2j}$
- $(S_2) {P * P} = \frac{1}{n_2 - 1} \sum {j=1}^{n_2} (X_{2j} - \overline{X} 2)(X {2j} - \overline{X}_2)’$

通过柯西 - 施瓦茨不等式，可得到 $M7$ 的最优解为 $\hat{a} = S_P^{-1}(\overline{X}_1 - \overline{X}_2)$。

相关定理如下：
- 定理 1：$\hat{y} = a’X = (\overline{X}_1 - \overline{X}_2)’S_P^{-1} X$ 是投影函数 $f(\hat{a})$ 的最优解。
- 定理 2：Fisher 分类规则：若 $\hat{y}_0 = a’X_0 = (\overline{X}_1 - \overline{X}_2)’S_P^{-1} X_0 \geq \hat{m}$，则样本归为第一组；否则归为第二组。其中，$\hat{m} = \frac{1}{2}(\overline{X}_1 - \overline{X}_2)’S_P^{-1}(\overline{X}_1 + \overline{X}_2)$。

该方法在数据分布为正态时效果特别好，并且在过去几年中已成功应用于人脸识别领域。在两类分类问题中，存在将一个组的元素误分到另一个组的两种错误，理想的分类方法是尽量减少这两种错误，即同时提高准确率。此外，还可以控制一种错误率在一定水平，同时提高准确率。

2. FLP 与 Fisher LDA 的集成思想

定义隶属函数分别为：
- $\mu_{F1}(x) =
\begin{cases}
1, & \text{if } \sum \alpha_i \geq y_{1U}; \
\frac{\sum \alpha_i - y_{1L}}{y_{1U} - y_{1L}}, & \text{if } y_{1L} < \sum \alpha_i < y_{1U} \
0, & \text{if } \sum \alpha_i \leq y_{1L}
\end{cases}$
- $\mu_{D1}(x) =
\begin{cases}
1, & \text{if } A_iX \leq b + \alpha_i, i \in B \
1 - \frac{A_iX - (b + \alpha_i)}{d_0}, & \text{if } b + \alpha_i < A_iX < b + \alpha_i + d_0, i \in B \
0, & \text{if } A_iX \geq b + \alpha_i + d_0, i \in B
\end{cases}$
- $\mu_{D2}(x) =
\begin{cases}
1, & \text{if } A_iX \geq b - \alpha_i, i \in G \
1 + \frac{A_iX - (b - \alpha_i)}{d_0}, & \text{if } b - \alpha_i - d_0 < A_iX < b - \alpha_i, i \in G \
0, & \text{if } A_iX \leq b - \alpha_i - d_0, i \in G
\end{cases}$

其中 $d_0$ 是一个灵活系数。基于 $(M1)$ 得到以下模型：
$$Maximize\ \xi$$
$$Subject\ to\
\begin{cases}
\xi \leq \frac{\sum \alpha_i - y_{1L}}{y_{1U} - y_{1L}} \
\xi \leq \frac{\sum \beta_i - y_{2L}}{y_{2U} - y_{2L}} \
\xi \leq 1 - \frac{A_iX - (b + \alpha_i)}{d_0}, A_i \in B \
\xi \leq 1 + \frac{A_iX - (b - \alpha_i)}{d_0}, A_i \in G
\end{cases}$$

其中 $A_i$、$y_{1L}$、$y_{1U}$、$y_{2L}$ 和 $y_{2U}$ 已知，$X$ 和 $b$ 无约束，$d_0$ 是灵活系数，且 $\alpha_i$、$\beta_i$、$\xi \geq 0$。

基于此模型，提出了一种移动 $b$ 的 FLP 算法：
1. 为任务数据挖掘项目构建数据集市。
2. 从数据集市中生成一组相关属性或维度，将数据集市的尺度转换为相同的数值测量，并确定预定义的类、分类阈值 $\tau$、训练集和验证集。
3. 给出一个类边界值 $b^ $，使用模型 $(M8)$ 反复学习和计算所有观测值上相关属性或维度的总体得分 $A_iX$。注意：得到总体得分 $A_iX^ $ 后，不使用边界 $b^ $ 进行分类，而是使用 $b^ $。
4. 调整 $\varepsilon$ 以找到超直线或可行直线 $b^ \pm \varepsilon d_0$。
5. 如果分类准确率超过阈值，则转到步骤 6；否则，返回步骤 3 并选择另一个边界值 $b^{ }$。
6. 应用最终学习到的得分 $X^ $ 和最终边界 $b^* \pm \varepsilon d_0$ 来预测验证集中的未知数据。

从实验结果来看，大部分得分点靠近 $b^ $，当 $b^ \pm \varepsilon d_0$ 作为新边界时，分类准确率变化很大，这意味着大多数误分类的数据靠近边界。基于此结果，提出了一种提高 LP、FLP 和 MCLP 准确率的新思路，即 LP 和 Fisher LDA 的集成方法，具体步骤如下：
1. 训练：基于数据仓库中的训练数据构建 LP 分类模型和 LDA 模型。
2. 测试：通过 LP 模型计算 $A_iX$ 得到得分，如果 $A_iX$ 靠近边界 $b$（即 $A_iX \in [b - \varepsilon_1, b + \varepsilon_1]$），则转到步骤 3；否则，使用 LP 模型进行预测。
3. 使用 Fisher LDA 模型进行预测。

3. 实例分析

使用一个包含 65 个派生属性和 1000 条记录的美国主要银行信用数据库的真实数据集市来训练具有移动边界的 FLP 分类器，然后使用训练结果预测来自不同州的另外 5000 个客户的消费行为。最后，使用训练得分 $A_iX$ 的分布图来展示集成 LP 方法和 Fisher LDA 的原因。

涉及两种准确率：
- 绝对准确率：实际识别出的坏（或好）的数量除以坏（或好）的总数。
- 捕获率：实际捕获的坏和好的数量除以坏和好的总数。

以下是相关计算结果表格：
| 表 1：1000 条不平衡记录的训练结果 | | | | | | |
| — | — | — | — | — | — | — |
| 不同 $b$ 值 | 绝对准确率（$M1$） | | 捕获率 | 绝对准确率（$FLP$ of $M1$） | | 捕获率 |
| | 好（%） | 坏（%） | | 好（%） | 坏（%） | |
| $b = 2$ | 0.880233 | 0.371429 | 0.809 | 0.881395 | 0.3714285 | 0.81 |
| $b = 1.1$ | 0.87907 | 0.378571 | 0.809 | 0.87907 | 0.3785714 | 0.809 |
| $b = 0.5$ | 0.87907 | 0.378571 | 0.809 | 0.880233 | 0.3785714 | 0.81 |
| $b = -0.5$ | 0.682558 | 0.242857 | 0.621 | 0.712791 | 0.2642857 | 0.65 |
| $b = -1.1$ | 0.682558 | 0.242857 | 0.621 | 0.712791 | 0.2642857 | 0.65 |
| $b = -2$ | 0.682558 | 0.242857 | 0.621 | 0.712791 | 0.2642857 | 0.65 |

表 2：1000 条记录的训练结果和 5000 条记录的测试结果
不同 $b$ 值移动	训练：绝对准确率（$M8$）		捕获率	测试：绝对准确率（$M8$）		捕获率
	好（%）	坏（%）		好（%）	坏（%）
$b = 2$
$d_0 = 0.1b$
2	0.880233	0.378571	0.81	0.861888	0.393865	0.7856
2.04	0.655814	0.9	0.69	0.663321	0.790184	0.684
2.05	0.622093	0.928571	0.665	0.627001	0.819632	0.6584
2.1	0.49186	0.957143	0.557	0.513501	0.892025	0.5752
2.2	0.327907	0.992857	0.421	0.346237	0.959509	0.4462
$b = 1.1$
$d_0 = 0.1b$
1.09	0.973256	0.128571	0.855	0.940741	0.158282	0.8132
1	0.87907	0.378571	0.809	0.861649	0.393865	0.7854
1.11	0.77093	0.778571	0.772	0.766069	0.644172	0.7462
$b = 0.5$
$d_0 = 0.1b$
0.49	0.989535	0.042857	0.857	0.972043	0.068712	0.8248
0.5	0.87907	0.378571	0.809	0.861888	0.392638	0.7854
0.51	0.654651	0.9	0.689	0.662605	0.790184	0.6834

表 3：LP 和 LDA 的训练和测试结果
	训练			测试
	T - g	T - b	总数	T - g	T - b	总数
LP
好	756	104	860	3607	578	4185
坏	87	53	140	495	320	815
总数	843	157	1000	4102	898	5000
LDA
好	725	135	860	3293	892	4185
坏	39	101	140	176	639	815
总数	764	236	1000	3469	1531	5000

表 4：LP 和 LDA 的误分类记录数
LP	共享	LDA
104	63	135
87	51	39
191	114	174

从表 4 可以看出，LP 和 LDA 方法并非对所有记录的分类结果都相同，这表明集成方法是可行的。

以下是集成方法的流程 mermaid 图：

graph LR
    A[训练数据] --> B[构建 LP 模型和 LDA 模型]
    B --> C[测试数据]
    C --> D{AiX 是否靠近边界 b}
    D -- 是 --> E[使用 Fisher LDA 模型预测]
    D -- 否 --> F[使用 LP 模型预测]

综上所述，LP 和 Fisher LDA 的集成方法具有提高分类准确率的潜力，后续还需要进一步研究一些细节问题，如 $\varepsilon_1$ 的取值及其对准确率的影响等。同时，该集成思想在理论上也可应用于 FLP - LDA 和 MCLP - LDA，未来将进行更多测试并报告结果。

间接互惠合作进化中的歧视机制

在人类行为研究中，合作是一项重要的特性。与大多数生物不同，人类常常会与无血缘关系的陌生人进行合作，这种合作往往发生在大型群体中，且合作对象可能是他们再也不会遇到的人。这种合作模式可以用间接互惠理论来解释，即合作的出现是因为它能赋予个体有价值的社区成员形象。在某种意义上，辨别有价值的成员是合作的前提。本文将通过分析模型和计算机模拟，揭示合作机制的本质，即由歧视者和惩罚构成，同时探讨不同等级歧视者的不同影响。

1. 合作现象的背景与理论解释

在人类进化历史中，诸如狩猎大型猎物、分享食物和战争等活动构成了公共利益。每个群体成员都能从这些“利益”中受益，即使他们没有为提供这些利益付出任何成本。这就引出了一个问题：为什么像战争和大型猎物狩猎这样的合作活动会出现？

对人类合作的解释通常基于遗传相关性（亲缘选择）和重复博弈（如互惠）。亲缘选择是解释人类和其他动物合作的一个重要理论，它已成为一种解释模板，并逐渐扩展到非亲缘个体之间的合作。然而，用这种方式来解释大量无亲缘关系个体之间的合作似乎并不合理。对于重复博弈，虽然它能够解释为什么自私的个体会进行合作，但在现实世界中很难满足其条件。

在现实世界中，间接互惠更为普遍。即一个人不期望从受助者那里得到回报，而是期望从其他人那里得到回报。合作会倾向于社区中有价值的成员，这就是所谓的“如果你不帮助他人，我也不会帮助你”原则。

间接互惠涉及声誉和地位，导致每个群体成员都在不断地被评估和重新评估。一些学者通过信号理论解释了合作和有益活动。例如，Smith 和 Bliege 运用高成本信号理论探讨了澳大利亚托雷斯海峡 Meriam 人在海龟狩猎和公共盛宴中的利他行为。

Boyd 和 Richerson 首次开发了基于间接互惠的合作数学模型。在他们的模型中，个体被排列成循环。他们研究了两种策略：上游 TFT（以牙还牙）和下游 TFT。他们对间接互惠的分析表明，随着群体规模的增加，间接互惠进化所需的条件变得更加严格。从某种意义上说，这种间接互惠类似于直接互惠。由于社会结构的多样性，人类个体及其相互作用往往形成嵌入式图，而不是环形。

合作在利他惩罚可行时会蓬勃发展，而在排除惩罚时会瓦解。换句话说，惩罚是一种公共利益。因此，歧视和惩罚机制是必要的。

Nowak 和 Sigmund 利用形象得分开发了一个间接互惠模型，并对歧视者和背叛者进行了建模。在他们的模型中，每个个体都有一个形象得分和一种策略。每次收益由形象得分和随机配对中的策略决定。同时，捐赠者的形象得分会被调整。他们得出结论，在足够的互动情况下，合作机制可以通过形象得分建立起来。他们还基于间接互惠进一步开发了合作者、背叛者和歧视者的动态复制方程。

2. 引入不同等级的歧视者

在现实世界中，每个人由于其独特的认知和身体能力而进行不同的辨别。仅用单一的歧视者来理解合作机制是不够的。

考虑到人类社会的复杂性，本文引入了两种歧视者：低等级和高等级。低等级歧视者更宽容，即除非合作对象在最后两次活动中都选择背叛，否则他们会选择合作，我们将其标记为宽容 TFT。高等级歧视者更严格，即只有当合作对象在最后两次活动中都选择合作时，他们才会选择合作，我们将其标记为两次以牙还牙。

本文将通过数学模型和计算机模拟来探讨合作机制、不同歧视者和非歧视者之间的关系。我们将展示合作者容易受到背叛者的入侵，而歧视者可以保护合作者免受背叛者的侵害。合作机制的本质由歧视者和惩罚构成。宽容 TFT 更倾向于建立合作机制，而两次以牙还牙则相反。总之，两次以牙还牙在不同条件下有相反的效果。

3. 基本模型构建

假设在一个群体中有两种个体：非歧视者和歧视者。非歧视者要么总是给予帮助，要么从不给予帮助。我们用 $x_1$ 表示合作者的频率，用 $x_2$ 表示背叛者的频率。歧视者分为低等级和高等级，我们分别用 $x_3$ 和 $x_4$ 表示他们的频率。这些歧视者会评估群体中的每个成员，并记录他们的形象得分。

低等级歧视者更宽容，除非合作对象在最后两次活动中都选择背叛，否则他们会给予帮助。高等级歧视者更严格，只有当合作对象在最后两次活动中都选择合作时，他们才会给予帮助。

假设每一代经历一定数量的互动回合。在每一回合中，每个玩家既是捐赠者又是接受者。在每个角色中，玩家与随机选择的合作对象进行互动。如果回合数很少，那么两次遇到同一个合作对象的可能性非常小，本文不考虑这种可能性。同时，假设群体中的所有行为都可以被观察到，即信息是完全的。还假设每一代内部和代与代之间没有突变和社会学习。在这种情况下，标准模型是复制动态。一种策略在群体中的增长率被假设为相对于平均收益的收益的线性函数。因此，收益就是成功繁殖的速率。

从最后两回合来看，歧视者可以区分那些帮助过两次并获得 G（好）分数的人、帮助过一次并获得 M（中等）分数的人，以及两次都拒绝帮助并获得 B（坏）分数的人。低等级歧视者帮助 G 玩家和 M 玩家，高等级歧视者只帮助 G 玩家。在第 $n$ 回合中，$g_n$、$m_n$、$b_n$ 分别表示分数为 G、M 和 B 的频率。

我们可以得到：
$g = \frac{x_1 + x_3}{1}$，$m = 0$，$b = \frac{x_2 + x_4}{1}$

然后有：
$\begin{cases}
g_{n + 1} = x_1 + x_3 + x_4 g_n \
m_{n + 1} = x_1 m_n + x_3 m_n + x_4 m_n \
b_{n + 1} = x_2 + x_4 b_n
\end{cases}$

以下是不同类型个体频率和得分频率关系的表格：
| 类型 | 频率表达式 |
| — | — |
| G 分数频率 | $g = \frac{x_1 + x_3}{1}$ |
| M 分数频率 | $m = 0$ |
| B 分数频率 | $b = \frac{x_2 + x_4}{1}$ |

4. 模型分析与结论

通过对上述模型的分析，我们可以进一步探讨不同策略在群体中的演化情况。在这个模型中，不同等级的歧视者和非歧视者的频率会随着时间和互动回合的变化而改变。

当低等级歧视者的频率较高时，由于他们相对宽容的合作策略，会使得更多的个体有机会参与合作，从而促进合作机制的形成。而高等级歧视者虽然更为严格，但在一定程度上可以筛选出真正愿意合作的个体，减少背叛行为的发生。

在实际应用中，这种合作机制的研究可以为理解人类社会中的合作行为提供理论支持。例如，在团队合作、社区建设等领域，我们可以根据不同的情况引入不同等级的“歧视”机制，以提高合作的效率和稳定性。

以下是合作机制演化的 mermaid 流程图：

graph LR
    A[初始群体状态] --> B[互动回合开始]
    B --> C{是否为最后两回合}
    C -- 否 --> B
    C -- 是 --> D[歧视者区分得分]
    D --> E[低等级歧视者决策]
    D --> F[高等级歧视者决策]
    E --> G[合作或背叛行为]
    F --> G
    G --> H[更新群体频率]
    H --> I[进入下一回合或结束]

综上所述，间接互惠合作进化中的歧视机制对于理解人类合作行为具有重要意义。未来的研究可以进一步深入探讨不同参数对合作机制的影响，以及如何在实际场景中更好地应用这些理论，以促进更有效的合作。同时，还可以考虑将该模型扩展到更复杂的社会结构和互动模式中，以提高其适用性和解释力。