16、深度学习中的知识编码与解释：传统技术挑战及图像知识解读

深度学习中的知识编码与解释：传统技术挑战及图像知识解读

传统技术的挑战与局限

在深度学习领域，传统技术面临着诸多挑战和限制。

梯度检查中的非确定性影响

在进行梯度检查时，限制网络中非确定性项的影响至关重要。像随机失活（dropout）和数据增强这类操作，可能会引入显著误差。然而，若完全限制这些操作，又可能导致无法检查其梯度，例如随机失活可能会被错误地反向传播。一个较好的解决办法是，在评估有限项 (f (x + ϵ)) 和 (f (x - ϵ)) 以及解析梯度之前，调用随机种子。

决策透明度问题

深度学习算法的另一个重大缺陷是，它们无法有效地解释为何得出特定结论。与传统机器学习不同，我们无法准确追踪算法，以确定系统为何将一张图像识别为狗而非猫。通常只能通过修改误差函数或改变网络结构，来增强深度学习模型对这些特征的鲁棒性。

深度学习方法在处理跨学科问题时，往往难以得出有效结论。数据不足或错误可能导致错误结果，即使是最先进的深度学习模型，也可能无法像基于数学原理的简单模型那样保证知识编码的准确性。一般来说，深度学习方法在分类问题上表现出色，但在处理非分类格式的数据时则较为吃力。

简单模型（如基于机器学习的网络）在期望输出与预期预测不符时，需要人工干预来提取特征或合理调整模型。领域专家会根据问题描述手动编码相关特征，当专家能够准确识别和提取感兴趣的特征（如数值、像素、纹理等）时，这种方法很有效。而深度学习方法则可以基于目标函数自我纠正错误，通过神经网络传递数百万个参数，这超出了人类干预的理解范围。深度学习能够从数据中缓慢学习高级特征，降低错误概率，尤其是在输入错误或数据不足的情况下。