weixin_37447415的博客

为了探索专家代表什么以及他们如何工作的，让我们首先考察专家混合模型（MoE）所替代的对象：密集层 (Dense Layers)。路由（或门控网络）也是一个FFNN，用于根据特定输入选择专家。它输出概率值，用这些概率值来选择最匹配的专家：专家层返回所选专家的输出乘以门控值（选择概率）。Router与Expeter（其中只选择少数）共同构成了MoE层给定的MoE层有两种形式，要么是稀疏的专家混合，要么是密集的专家混合。

本文翻译Maarten的许多算法，无论是有监督的还是无监督的，都使用。这些度量，例如欧几里得距离或余弦相似度，通常可以在 k-NN、UMAP、HDBSCAN 等算法中找到。了解距离测量的范围比您意识到的要重要得多。以 k-NN 为例，这是一种通常用于监督学习的技术。默认情况下，它通常使用https://img-home.csdnimg.cn/images/20230724024159.png?就其本身而言，这是一个很大的距离测量。但是，如果您的数据是高度维度的，该怎么办？那么欧式距离仍然有效吗？