深度学习常用概念!

最新推荐文章于 2024-07-25 11:20:24 发布

原创

最新推荐文章于 2024-07-25 11:20:24 发布 · 446 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习概念

本文详细介绍了深度学习中重要的概念，包括batchsize（批大小）、iterator（迭代次数）和epoch（训练轮数）。一个epoch意味着遍历完整个训练集。此外，还探讨了在人脸识别领域的gallery set（参考图像集）和probe set（测试图像集合）的使用，强调了训练和测试的独立性以及PCA和NN方法在降低维度和搜索过程中的应用。

1.深度学习中的batchsize, iterator, epoch

batchsize:批大小，比如SGD中的BP一次就是用的一批的数据
iterator:迭代次数，1个iterator相当于用一个batch训练一次
epoch:训练集中全部的数据被用过一次，叫一个epoch
举个例子，在不考虑每个batch之间发生样本交叉的情况下，假设有1000个样本，batchsize是10，那么用过全部的样本训练模型，需要1个epoch，100次iterator.

2.gallery set (参考图像集或者原型图像集) Probe set(测试图像集合)

该论文的19页有如下描述：在FERET 评估协议中，算法设计者需要区分三个不同的集合：训练集，参考图像集（或者
原型图像集，gallery set）、测试图像集合（Probe set=test set），其中gallery 集和probe 集供测试时使用。“训
练必须在测试开始之前完成”暗示训练是离线完成的，算法不能根据Gallery 集来调整系统参数

具体见http://parnec.nuaa.edu.cn/xtan/paper/TanXY-thesis-final.pdf

通过和Ran He老师讨论已经彻底搞清楚了：
比如他的CVPR 2012论文，用PCA+NN。人脸识别是一个开集问题，人脸验证verification是一个闭集问题。训练样本可能是甲乙，测试样本可能是丙丁。通过训练样本来学习PCA的投影向量W，降到多少维可以搜索，他的CVPR 2012论文PCA是保存98%能量,LDA是降到c-1维。和Ran He已讨论清楚搜索维数的方法：如果降到10维，取W的前10列分别乘以gallery和Probe，再用最近邻分类；类似降到20维，取W的前20列分别乘以gallery和Probe，再用最近邻分类。gallery相当于新的训练