2、数据摄取：表格格式与CSV文件处理

数据摄取：表格格式与CSV文件处理

1. 表格格式概述

大量数据以表格格式存在，理论上，借助关系概念，所有结构化数据集合都能用多个“扁平”或“表格”集合表示。自1970年以来，关系数据库管理系统（RDBMSs）取得了巨大成功，世界上很大一部分数据都存储在其中。还有很大一部分数据虽然并非严格意义上的关系型数据，但仍然是表格形式，其关系可以通过临时但不麻烦的方式推断出来。

数据摄取主要关注导致数据脏乱的结构或机械问题，后续会更关注数据的内容或数值问题。这里将讨论包括CSV、电子表格、SQL数据库和科学数组存储格式等表格格式，还会介绍数据框的一些通用概念，数据科学家通常会使用数据框来处理表格数据。

1.1 环境设置

运行以下代码进行环境设置：

from src.setup import * 
%load_ext rpy2.ipython 

library(tidyverse) 

2. 数据整理

2.1 整洁数据概念

Hadley Wickham和Garrett Grolemund在《R for Data Science》中推广了“整洁数据”的概念，R的Tidyverse包集合试图在具体库中实现这一概念。整洁数据的概念与数据库规范化密切相关，但本书不会深入探讨数据库规范化。

整洁数据将变量（表格的列，也称为特征或字段）与观测值（表格的行，也称为样本）仔细分开，每个单元格中有一个数据项。然而，