15、数据处理、可视化与机器学习基础

数据处理、可视化与机器学习基础

1. 内部数据

在大学、公司或研究机构工作时，我们常常会接触到内部数据。以大型电子商务企业为例，员工可能会处理公司收集和生成的业务数据。

大型公司每秒能产生数兆字节的数据，这些数据通常存储在数据库中或在数据库中进行处理。我们的工作是理解这些源源不断的数据流，利用从中获得的见解来提高盈利能力和/或效率。

1.1 数据相关性

数据应与业务运营相关，例如购买时间、购买物品、是否为打折商品等。这些信息会存入数据库并备份，以便团队后续分析。

1.2 数据存储格式

数据可以存储为各种文件类型和格式，如SQLite、CSV、BigQuery和JSON。具体的文件类型取决于公司的便利性和现有基础设施。我们需要掌握处理各种文件类型的方法，以从数据中获取最佳见解。

2. 数据可视化

数据可视化能让有意义的数据分析变得更快、更容易，在很多情况下，它是数据分析的首要步骤之一。

2.1 可视化目标

数据可视化主要有两个目标：探索数据和传达信息。通过直方图、条形图等可视化形式，我们能立即看到数据中的模式。例如，使用折线图可以直观地看到趋势是否上升，使用饼图可以比较各因素的大小。数据可视化能让数据比一长串数字和文本更清晰易懂。

以比特币搜索趋势为例，通过 这个链接 的图表，我们可以立即看到比特币搜索量有一个巨大但短暂的增长，之后稳步下降。如果这