10、数据访问与处理全解析

数据访问与处理全解析

1. 结构化扁平文件数据访问

在实际工作中，我们所需处理的数据通常并非像Scikit - learn库中的玩具数据集那样直接存在于库中，而是以各种文件形式呈现。扁平文件是最容易处理的文件类型，其数据表现为简单的条目列表，可根据需求逐行或全部加载到内存中。

不过，使用原生Python技术处理数据存在一些问题，例如它无法智能识别文件头，也难以轻松选择特定列的数据。而pandas库则能很好地解决这些问题，其类和方法可以解析扁平文件数据，使其更易于操作。

扁平文件有不同的格式，从格式最简单、最易读的文本文件，到逗号分隔值（CSV）文件，再到像Excel文件这样高度格式化的自定义数据格式。下面我们将详细介绍如何处理这三种不同格式的扁平文件。

1.1 从文本文件读取数据

文本文件有多种存储格式，常见的是包含一个文件头，用于说明每个字段的用途，之后每行代表一条记录，字段之间用制表符分隔。

虽然原生Python提供了多种读取此类文件的方法，但使用pandas库会更加便捷。pandas库中有一组解析器，可根据文件的整体格式读取并确定每个数据位的用途。这里我们使用 read_table() 方法来读取文件，示例代码如下：

import pandas as pd
color_table = pd.io.parsers.read_table("Colors.txt")
print(color_table)

上述代码首先导入pandas库，然后使用 read_