5、数据优先、轻松环境与数据预处理

数据优先、轻松环境与数据预处理

1. 数据检查与本体探讨

若所有安装都正确完成，你将看到类似的图像，这意味着你已成功查看了一个常见的深度学习数据集。在深入研究数据时，有一个常被提及的概念——数据本体。这涉及到数据实际是如何分解和使用的、重要的类别有哪些、能否描述类别的分布和类型等问题。当深入这一领域时，还会遇到诸如异常检测和数据平衡等话题。实际上，一开始就找到平衡的数据集是很困难的，通常需要对数据进行预处理。

为了进一步了解其他可能的数据类型或数据使用方式，可参考以下链接：
- Python 数据类型：https://developer.rhino3d.com/guides/rhinopython/python-datatypes/
- TensorFlow 内的数据类型：https://www.tensorflow.org/versions/r1.2/programmers_guide/dims_types

2. 数据预处理

数据预处理是确保数据能轻松被算法接收的明确过程。在将数据输入算法时，要保证每个数据点既有用又准确。对于大型数据集，可以查看宏观指标，如三个标准差的异常值；对于小型数据集，直观检查每个类别或类型的部分训练数据也是一种选择。

以下是数据预处理的具体步骤：
1. 导入必要的包 ：

#!/usr/bin/env python
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt