2、机器学习数据处理全流程指南

机器学习数据处理全流程指南

1. 数据加载

数据可以有不同的形式，并且存在于许多地方。对于初学者来说，数据集通常以扁平格式提供，即二维的行和列形式。其他常见的数据形式包括图像、JSON 对象和文本文档。每种数据格式都需要特定的加载方式。
- NumPy 加载数值数据 ：NumPy 是 Python 中处理矩阵的高效库，可以用于将数值数据加载到内存中。示例代码如下：

import numpy as np
data = np.loadtxt(filename, delimiter=",", skiprows=1)

• pandas 加载数据 ：pandas 库能够轻松处理各种数据类型，如字符串、整数、浮点数和二进制值，并且依赖于 NumPy 进行数值数据类型的操作。它还可以读取 JSON、Excel 文档和使用 SQL 查询数据库。
  • 加载 CSV 文件 ：

import pandas as pd
data = pd.read_csv(filename, delimiter=",")

- **加载 JSON 文件**：

import pandas as pd
data =