9、深度学习数据准备与处理全解析

深度学习数据准备与处理全解析

1. 深度学习所需数据量探究

在深度学习中，确定训练模型所需的数据量并非易事。简单地搜索答案往往得不到令人满意的结果，答案通常都是“视情况而定”。一些著名的深度学习模型是在数百万个示例上进行训练的。一般来说，像深度学习这样的非线性方法比线性回归等线性方法需要更多的数据才能取得足够好的结果。

对于深度学习而言，训练数据集需要涵盖模型部署时可能遇到的输入组合。以有轨电车延误预测问题为例，训练集必须包含用户可能想要预测的所有有轨电车路线的记录。如果系统中添加了新的有轨电车路线，就需要使用包含该路线延误信息的数据集重新训练模型。

真正的问题不是“深度学习模型需要多少数据才能得到充分训练”，而是“有轨电车数据集是否有足够的数据来应用深度学习”。最终答案取决于模型的性能，这也表明所需的数据量取决于训练后模型的性能。如果数据集有数千条记录，像有轨电车数据集这样，既不会小到无法使用深度学习，也不会大到保证数据量不会成为问题。确定深度学习是否适用于特定问题的唯一方法是尝试并查看性能。对于有轨电车延误预测模型，我们会测量测试准确率（即模型对训练过程中未见过的行程延误的预测能力）以及其他与良好用户体验相关的指标。对于有轨电车预测模型，准确率超过 70% 就会有所帮助，因为这能让乘客在大多数情况下避免长时间延误。

2. 数据准备：探索与清理

在深度学习项目中，摄入原始数据集是一个基本步骤，这样才能在代码中对其进行操作。摄入数据后，就可以对其进行探索并开始清理。

可以使用配置文件与 Python 程序结合，使参数更有条理，并且无需修改 Python 代码就能轻松更新参数。可以通过一个函数调用将 CSV 文件直接导