#内容简介 · · · · · ·
随着大数据时代到来,网络信息量也变得更多更大,基于传统搜索引擎的局限性,网络爬虫应运而生,本书从基本的爬虫原理开始讲解,通过介绍Pthyon编程语言和Web前端基础知识引领读者入门,之后介绍动态爬虫原理以及Scrapy爬虫框架,最后介绍大规模数据下分布式爬虫的设计以及PySpider爬虫框架等。
主要特点:
l 由浅入深,从Python和Web前端基础开始讲起,逐步加深难度,层层递进。
l 内容详实,从静态网站到动态网站,从单机爬虫到分布式爬虫,既包含基础知识点,又讲解了关键问题和难点分析,方便读者完成进阶。
l 实用性强,本书共有9个爬虫项目,以系统的实战项目为驱动,由浅及深地讲解爬虫开发中所需的知识和技能。
难点详析,对js加密的分析、反爬虫措施的突破、去重方案的设计、分布式爬虫的开发进行了细致的讲解。
作者简介 · · · · · ·
范传辉,资深网虫,Python开发者,参与开发了多项网络应用,在实际开发中积累了丰富的实战经验,并善于总结,贡献了多篇技术文章广受好评。研究兴趣是网络安全、爬虫技术、数据分析、驱动开发等技术。
目录 · · · · · ·
前言
基础篇
第1章 回顾Python编程 2
1.1 安装Python 2
1.1.1 Windows上安装Python 2
1.1.2 Ubuntu上的Python 3
1.2 搭建开发环境 4
1.2.1 Eclipse+PyDev 4
1.2.2 PyCharm 10
1.3 IO编程 11
1.3.1 文件读写 11
1.3.2 操作文件和目录 14
1.3.3 序列化操作 15
1.4 进程和线程 16
1.4.1 多进程 16
1.4.2 多线程 22
1.4.3 协程 25
1.4.4 分布式进程 27
1.5 网络编程 32
1.5.1 TCP编程 33
1.5.2 UDP编程 35
1.6 小结 36
第2章 Web前端基础 37
2.1 W3C标准 37
2.1.1 HTML 37
2.1.2 CSS 47
2.1.3 JavaScript 51
2.1.4 XPath 56
2.1