Python爬虫系列：开端

Python爬虫系列：开端

网络爬虫，顾名思义，是从网络上爬取特定信息的工具。

利用Python,我们能以很少的代码，写出一个能为我们所用的网络爬虫，并且通过这个爬虫，我们便能够在互联网上，自动爬取文本，图片，视频，文件等。

概述

基本框架

一个完整的爬虫，一般包含以下四部分或其中几个部分

1. 主函数 spider
2. url管理器 url_manger
3. url下载器 url_downloader
4. 网页解析器 html_parser
5. 内容输出器 outputer

2-5的顺序也是爬虫工作时的逻辑顺序，从url管理器中获取url，用下载器下载网页内容，提交给解析器，解析后得到所需内容交给输出器，按一定格式输出。

需要的第三方库

1. BeautifulSoup (解析网页)
2. requests 或 urllib2 (获取网页)
3. urlparse (解析网页)

未安装的，可以使用pip工具在命令行安装，命令如下

pip install beautifulsoup4

pip install requests

pip install urllib2

…

开发环境

在这里，推荐JetBrain公司的Pycharm。

大家可以在其官网下载免费的社区版：https://www.jetbrains.com/pycharm/