28、基于排名的神经网络：原理、实践与对比分析

基于排名的神经网络：原理、实践与对比分析

1. 模型性能对比

在对MNIST数据集进行测试时，设置训练集大小为$n = 1300$，其中手动添加了270个异常值。训练完成后，在大小为$n = 40000$的测试集上进行预测。以下是LNN和RNN在训练集和测试集上的准确率对比：
|模型|训练集准确率|匹配数/总数|异常值|测试集准确率|匹配数/总数|异常值|
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
|LNN|100%|1300/1300|0|70.7%|28268/40000|—|
|RNN|78.6%|1021/1300|279|79.1%|31625/40000|—|

从数据中可以看出，RNN的训练集准确率接近测试集准确率，而LNN并非如此。同时，引入了与$F1$分数相似的Matthews相关系数（MCC）进行评估，RNN的MCC = 0.829，LNN的MCC = 0.751。显然，当存在异常值时，RNN的性能优于LNN。

2. 相关问题探讨

2.1 神经网络偏导数项计算

计算神经网络中偏导数项的数量时，需要考虑各层之间矩阵的大小，并将所有矩阵中的元素总数相加，同时要包含偏置项。

2.2 激活函数tanh(z)

• 函数方程与绘图 ：$tanh(z)$的方程为$tanh(z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}$，需构建一个包含$tanh(z)$、sigmoid和relu函数的图形。