神经网络、深度学习创新点的思考

最新推荐文章于 2025-03-12 09:27:23 发布

weixin_30678821

最新推荐文章于 2025-03-12 09:27:23 发布

阅读量2.1k

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能

原文链接：http://www.cnblogs.com/mtcnn/p/9422996.html

本文探讨了深度学习中神经网络作为强大特征学习工具的应用，包括Autoencoder在特征降维的作用，以及通过CNN等模型训练得到的有效特征如何用于分类与识别任务。文中还介绍了为提高模型鲁棒性而采取的各种策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

从特征学习（Feature Learning）的观点来看，神经网络尤其是深度神经网络（也即是深度学习）是十分强大的特征学习方法。例如就可将 Autoencode 视为一种特征降维的方法。

也正因如此，在经过深度学习模型（ANN、CNN、RNN、LSTM等模型）的训练之后，其实是学习到了一些很好的特征，便可以用来分类（classification），recognition（识别）等计算机视觉人任务。

CNN + softmax ⇒ CNN + SVM

1. 可调参数

当人为地定义一些函数，对原始的问题，进行一定的泛化和拓展，最好为这些增加一些额外的参数，进行必要的控制和调节。

比如，模拟退火的接受概率：

$p = {1, exp - E ( n + 1 ) - E ( n ) T, E (n + 1) < E (n) E (n + 1) \geq E (n)$

2. Multi-scale

Coarse & Fine

3. online ⇒ offline

In contrast to most existing trackers which only learn the appearance of the tracked object online, we take a different approach, inspired by recent advances in deep learning architectures, by putting more emphasis on the (unsupervised) feature learning problem. Specifically, by using auxiliary natural images, we train a stacked denoising autoencoder offline to learn generic image features that are more robust against variations. This is then followed by knowledge transfer from offline training to the online tracking process.

offline ⇒ generic ⇒ more robust against variations；