麦麦大数据

本期学习代理池的更新与维护

利用指纹实现“不重复爬取”

使用代理服务器爬取更多评论数据

（1）爬取日本其他城市数据存入数据库（2）爬取景点评论数据

本节内容主要为： （1）创建数据库 （2）创建数据库表 （3）爬取数据库进MYSQL库

（1） 景点数据解析（2）数据保存到excel

值得注意的是，原先程序在执行到第4页的时候提示无法爬取更多页面，因为下一页的按钮在某一个像素点无法点击了，原因可能是页面上的浮窗或者其他内容遮挡住了这个标签，可以修改为使用javascript的方式点击下一页按钮。首先查看本地安装的chrome浏览器的版本，通过浏览器的设置 》 关于Chrome 可以查看到当前版本，例如目前我使用的版本是。借助 selenium 可以使用浏览器来进行爬取数据，可以解决上一节遗留的翻页问题，首先介绍一下如何集成到scrapy环境中。

本项目为scrapy 练手项目，爬取的是穷游旅游景点列表数据。