Day09—数据存储与管理

我们在爬虫时，我们有没有想过爬虫的最终目的是什么呢？我们为什么要写爬虫呢？

…

我们是为了获取到想要的数据才去爬虫，我们爬取到目标数据后，我们总不能让它白白跑掉吧，要把爬取到的所有数据储存起来。

在网络爬虫的实际操作中，数据存储和管理是核心环节之一。爬取的数据需要被妥善保存和组织，以便后续的分析和使用。

本文将介绍如何将爬取的数据存储到不同的介质中，并讨论数据的清洗和管理方法。

1. 数据存储方式

爬取的数据可以存储在多种格式和介质中，包括文本文件、数据库、CSV、JSON等。每种存储方式都有其特点和适用场景。

• 文本文件：简单的数据可以存储在文本文件中，如.txt或.md文件。这种方式易于操作，但不适合存储结构化数据。

# 将数据写入文本文件
with open(