1、Python 网络爬虫：从入门到服务构建

Python 网络爬虫：从入门到服务构建

1. 网络爬虫概述

互联网蕴含着海量的数据，这些数据既通过结构化的 API 提供，也直接通过网站内容呈现。API 中的数据高度结构化，而网页中的信息往往是非结构化的，需要进行收集、提取和处理才能发挥价值。收集数据只是第一步，还需要对其进行存储、挖掘，并以增值的形式提供给他人。

2. 所需工具与环境准备

• Python 解释器 ：主要使用 Python 3 解释器，示例代码基于 Anaconda Python 发行版 3.6.1 编写，其他 Python 3 发行版理论上也适用，但未经过测试。
• Python 库 ：代码中经常需要使用各种 Python 库，可通过 pip install 进行安装。
• AWS 账户 ：部分操作需要 Amazon AWS 账户，可在 https://portal.aws.amazon.com/billing/signup 创建新账户，第一年可享受免费套餐服务。
• Elasticsearch ：有开源免费版本可在 https://github.com/elastic/elasticsearch