1、Python 网络爬虫：从入门到服务构建

Python 网络爬虫：从入门到服务构建

1. 网络爬虫概述

互联网蕴含着海量数据，这些数据通过结构化 API 和网站内容两种形式呈现。API 中的数据高度结构化，而网页中的信息往往是非结构化的，需要经过收集、提取和处理才能发挥价值。网络爬虫就是用于收集网页信息的工具，后续还需要对这些数据进行存储、挖掘，并以增值形式提供给他人。

2. 所需工具与环境准备

• Python 解释器 ：本书主要使用 Python 3 解释器，代码基于 Anaconda Python 3.6.1 版本编写，其他 Python 3 发行版理论上也适用，但未经过测试。
• Python 库 ：代码中常需使用各种 Python 库，可通过 pip install 进行安装，具体安装步骤会在相关操作中详细说明。
• AWS 账户 ：部分操作需要 Amazon AWS 账户，可在 https://portal.aws.amazon.com/billing/signup 创建新账户，且本书操作仅使用免费层服务。
• Elasticsearch ：有免费开源版本可从 https://github.com/elas