13、深度学习关键知识点与问题解析

深度学习关键知识点与问题解析

1. 激活函数相关问题

在许多面试中，可能会拿到一篇未读过的论文并要求阅读和讨论。例如，阅读《Searching for Activation Functions》后，需要回答以下问题：
- 研究人员使用自动管道搜索的具体内容是什么？
- 研究人员在搜索空间中包含了哪些类型的函数？
- 研究的主要发现是什么，为什么结果令人惊讶？
- 写出 Swish 激活函数的公式。
- 绘制 Swish 激活函数的图像。

2. 性能指标

在机器学习研究中，比较不同模型、调整超参数和学习率、寻找最优增强方法等都很重要。通常目标是找到在训练集和验证集上误差最小的最佳模型，这就需要测量和比较不同方法、模型、参数设置的性能。

2.1 混淆矩阵、精确率和召回率

设计了一个用于检测温度传感器故障的二分类器，在未见过的测试集上运行推理时，得到如下混淆矩阵：
| | 预测 P | 预测 N |
| — | — | — |
| 实际 P | 12 | 7 |
| 实际 N | 24 | 1009 |

其中，P 代表故障设备，N 代表正常设备。
- TP（真正例） ：实际为正例且预测为正例，即 12。
- TN（真反例） ：实际为反例且预测为反例，即 1009。
- FP（假正例） ：实际为反例但预测为正例，即 24。
- FN（假反例）