7、机器学习中的样本可区分性与监督/无监督学习方法

机器学习中的样本可区分性与监督/无监督学习方法

1. 样本距离分析实验

1.1 实验设置步骤

为了进行距离分析，实验设置包含三个主要步骤，具体如下：
1. 训练数据 ：创建多个多元正态分布，其均值在n维空间中均匀分布，并使用随机协方差矩阵。训练一个ReLU网络以高精度区分指定数量的组，并存储网络参数。
2. 镶嵌与测试数据 ：在训练设置的立方体对角线上创建由一个或多个点组成的样本，并将其通过预训练的ReLU网络以获取激活值。
3. 度量分析 ：比较所提出的度量与Fréchet距离在数据和激活空间上的行为。

以下是该实验步骤的mermaid流程图：

graph LR
    A[训练数据] --> B[镶嵌与测试数据]
    B --> C[度量分析]

1.2 层数的影响

不同层数下，度量的行为有所不同。较低层数与较高层数相比，镶嵌中靠近输入数据的单元格浓度较高，而远离输入数据的单元格浓度较低。并且，根据相关分析，更多的单元格会放大这种差异。同时，样本之间的二进制距离并不一定表现为均值之间的欧几里得距离，在某些情况下，距离的凸性行为可能更可取，尤其是在高方差场景中，能够比依赖欧几里得差异更快地区分非常相似的样本。

网络架构	描述