2、数据科学与 Pandas 入门指南

数据科学与 Pandas 入门指南

1. 数据科学的崛起

数据科学自 2012 年被《哈佛评论》评为“21 世纪最性感的工作”以来，其受欢迎程度急剧上升。在 2016 年和 2017 年，它还被 Glassdoor 评为排名第一的工作。行业需求推动了数据科学的火爆，许多应用在新闻中引起了轰动，比如 Netflix 提供更好的电影推荐、IBM Watson 在《危险边缘》节目中击败人类、特斯拉制造自动驾驶汽车、美国职业棒球大联盟球队发掘被低估的潜力球员，以及谷歌学会在互联网上识别猫。

几乎每个行业都在寻找利用数据科学来构建新技术或提供更深入见解的方法。由于这些显著的成功，数据科学似乎被一种炒作的氛围所笼罩。这种炒作背后的大部分科学进展源于机器学习领域，它产生了用于人工智能预测的算法。

1.1 数据科学的基础——数据

所有机器学习算法的基本构建块当然是数据。随着公司意识到这一点，数据并不缺乏。商业智能公司 Domo 估计，世界上 90% 的数据是在过去两年内创建的。

虽然机器学习备受关注，但它完全依赖于所提供数据的质量。在数据进入机器学习算法的输入层之前，必须对其进行准备。为了正确准备数据，需要对其进行彻底探索，以获得基本理解并识别不准确之处。而在探索数据之前，需要先捕获数据。

1.2 数据科学流程

我们可以将数据科学流程分为三个阶段：数据捕获、数据探索和机器学习。有大量工具可用于完成流程的每个阶段。Pandas 是科学 Python 生态系统中用于数据探索和分析的主要工具。它非常擅长检查、清理、整理、过滤、转换、聚合甚至可视化（在一定帮助下）各种类型的数据。但它不是用于初始数据捕获的工具，也不是