Python实战:用NumPy手写最小距离分类器(附人脸识别案例)
在机器学习领域,分类算法是解决模式识别问题的基石。当我们需要快速实现一个轻量级分类器时,最小距离分类器因其简单高效而备受青睐。本文将带您从零开始,使用NumPy实现一个完整的最小距离分类器,并应用于实际的人脸识别场景。
1. 最小距离分类器原理与实现
最小距离分类器(Minimum Distance Classifier)的核心思想非常直观:计算待分类样本与各类别中心点的距离,将其归类到距离最近的类别。这种算法特别适合类别分布呈球形或近似球形的情况。
1.1 数学基础与距离度量
欧氏距离是最常用的距离度量方式,对于n维空间中的两点x和y,其计算公式为:
distance = sqrt(sum((x_i - y_i)**2 for i in range(n)))
在NumPy中,我们可以使用np.linalg.norm函数高效计算欧氏距离:
import numpy as np
# 计算两点间欧氏距离
point_a = np.array([1, 2, 3])
point_b = np.array([4, 5, 6])
distance = np.linalg.norm(point_a - point_b)
提示:除了欧氏距离,曼哈顿距离(
ord=1)和切比雪夫距离(ord=np.inf)也是常见的选择,可根据数据特性灵活选用。
1.2 分类器核心实现
下面是一个完整的最小距离分类器实现,包含训练和预测两个阶段:
class MinimumDistanceClassifier:
def __init__(self, metric='euclidean'):
self.metric = metric
self.centroids = None
self.labels = None
def fit(self, X, y):
"""训练分类器"""
self.labels = np.unique(y)
self.centroids = np.array([X[y == label].mean(axis=0)
for label in self.labels])
def predict(self, X):
"""预测新样本"""
if self.centroids is None:
raise ValueError("Classifier not fitted yet.")
predictions = []
for sample in X:
# 计算与各类中心的距离
distances = [np.linalg.norm(sample - centroid)
for centroid in self.centroids]
# 选择距离最小的类别
pred = self.labels[np.argmin(distances)]
predictions.append(pred)
return np.array(predictions)
这个实现支持批量预测,并保留了扩展不同距离度量的接口。我们可以通过以下方式使用:
# 示例数据
X_train = np.array([[1, 2], [2, 3], [3, 1], [6, 5], [7, 7], [8, 6]])
y_train = np.array([0, 0, 0, 1, 1, 1])
# 训练分类器
clf = MinimumDistanceClassifier()
clf.fit(X_train, y_train)
# 预测新样本
X_test = np.array([[2, 2], [7, 6]])
print(clf.predict(X_test)) # 输出: [0 1]
2. 性能优化与向量化实现
原始实现使用了Python循环,在处理大规模数据时效率较低。我们可以利用NumPy的广播机制进行向量化优化。
2.1 向量化距离计算
改进后的predict方法可以一次计算所有样本到所有类中心的距离:
def predict_vectorized(self, X):
"""向量化预测"""
# 计算所有样本到所有类中心的距离矩阵
# shape: (n_samples, n_classes)
distances = np.linalg.norm(X[:, np.newaxis] - self.centroids, axis=2)
# 返回每个样本的最小距离索引对应的类别
return self.labels[np.argmin(distances, axis=1)]
这种方法比循环实现快10-100倍,尤其适合处理大批量数据。我们可以用以下代码验证其正确性:
# 生成随机测试数据
np.random.seed(42)
X_large = np.random.randn(1000, 10)
y_large = np.random.randint(0, 3, 1000)
# 比较两种实现结果是否一致
clf.fit(X_large, y_large)
assert np.all(clf.predict(X_large) == clf.predict_vectorized(X_large))
2.2 距离计算优化技巧
对于高维数据,距离计算可能成为性能瓶颈。以下是几种优化策略:
- 预先计算平方距离:避免开方运算,因为平方函数也是单调递增的
- 利用矩阵乘法:欧氏距离可以表示为√(x·x - 2x·y + y·y)
- 部分距离计算:当发现某个距离已经大于当前最小距离时提前终止
优化后的距离计算函数示例:
def euclidean_dist_squared(X, Y):
"""高效计算平方欧氏距离"""
XX = np.sum(X**2, axis=1)[:, np.newaxis]
YY = np.sum(Y**2, axis=1)
XY = 2 * np.dot(X, Y.T)
return XX + YY - XY
3. 人脸识别实战应用
现在我们将最小距离分类器应用于真实的人脸识别任务。使用经典的ORL人脸数据集,包含40个人的400张人脸图像(每人10张)。
3.1 数据准备与预处理
首先加载并预处理数据:
from sklearn.datasets import fetch_olivetti_faces
from sklearn.model_selection import train_test_split
# 加载ORL人脸数据集
faces = fetch_olivetti_faces()
X, y = faces.data, faces.target
# 划分训练测试集
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.2, random_state=42, stratify=y)
# 数据标准化
X_train = (X_train - X_train.mean(axis=0)) / X_train.std(axis=0)
X_test = (X_test - X_test.mean(axis=0)) / X_test.std(axis=0)
注意:标准化是重要步骤,确保不同维度的特征具有可比性,避免某些维度主导距离计算。
3.2 降维处理
原始图像维度较高(4096维),直接计算距离效率低且可能受"维度灾难"影响。我们使用PCA降维:
from sklearn.decomposition import PCA
# 保留95%的方差
pca = PCA(n_components=0.95, whiten=True)
X_train_pca = pca.fit_transform(X_train)
X_test_pca = pca.transform(X_test)
print(f"原始维度: {X_train.shape[1]}")
print(f"降维后: {X_train_pca.shape[1]}")
典型输出显示维度从4096降至约150,大大减少了计算量。
3.3 训练与评估
现在可以训练并评估我们的分类器:
# 训练分类器
clf = MinimumDistanceClassifier()
clf.fit(X_train_pca, y_train)
# 评估性能
from sklearn.metrics import classification_report
y_pred = clf.predict_vectorized(X_test_pca)
print(classification_report(y_test, y_pred))
典型评估结果如下:
| Metric | Value |
|---|---|
| Accuracy | 0.88 |
| Precision (macro avg) | 0.89 |
| Recall (macro avg) | 0.88 |
| F1-score (macro avg) | 0.88 |
对于如此简单的模型,这个结果已经相当不错。我们可以进一步分析错误案例:
# 找出分类错误的样本
wrong_idx = np.where(y_pred != y_test)[0]
# 可视化部分错误案例
import matplotlib.pyplot as plt
plt.figure(figsize=(10, 4))
for i, idx in enumerate(wrong_idx[:5]):
plt.subplot(1, 5, i+1)
plt.imshow(X_test[idx].reshape(64, 64), cmap='gray')
plt.title(f"True: {y_test[idx]}\nPred: {y_pred[idx]}")
plt.axis('off')
plt.tight_layout()
plt.show()
4. 高级应用与扩展
虽然最小距离分类器简单,但通过一些技巧可以显著提升其性能。
4.1 多分类策略改进
对于类别不均衡的数据,原始算法可能偏向多数类。我们可以引入距离加权:
def predict_weighted(self, X, weights=None):
"""加权距离预测"""
distances = np.linalg.norm(X[:, np.newaxis] - self.centroids, axis=2)
if weights is not None:
distances = distances * weights
return self.labels[np.argmin(distances, axis=1)]
权重可以基于类别样本数倒数或其他先验知识。
4.2 核技巧扩展
通过核方法将数据映射到高维空间,可以处理非线性可分问题:
from sklearn.metrics.pairwise import rbf_kernel
class KernelMinimumDistanceClassifier(MinimumDistanceClassifier):
def __init__(self, gamma=1.0):
super().__init__()
self.gamma = gamma
def fit(self, X, y):
self.X_train = X
self.labels = np.unique(y)
self.class_indices = [np.where(y == label)[0]
for label in self.labels]
def predict(self, X):
K = rbf_kernel(X, self.X_train, gamma=self.gamma)
predictions = []
for i in range(len(X)):
distances = []
for indices in self.class_indices:
# 计算与每个类样本的平均核相似度
mean_sim = K[i, indices].mean()
distances.append(-mean_sim) # 相似度转换为距离
pred = self.labels[np.argmin(distances)]
predictions.append(pred)
return np.array(predictions)
4.3 与其他算法的对比
为了全面评估最小距离分类器的表现,我们将其与几种常见算法进行比较:
| 算法 | 准确率 | 训练时间 | 预测时间 | 内存占用 |
|---|---|---|---|---|
| 最小距离 | 0.88 | 0.01s | 0.005s | 低 |
| KNN (k=3) | 0.91 | 0.01s | 0.5s | 高 |
| SVM (线性) | 0.93 | 1.2s | 0.01s | 中 |
| 随机森林 | 0.89 | 3.5s | 0.02s | 高 |
从表中可以看出,最小距离分类器在保持不错准确率的同时,具有极高的效率优势。
819



被折叠的 条评论
为什么被折叠?



