python爬虫

用到的python数据结构：list（队列）和dict（词典）。详细请阅读“利用python进行数据分析”。

要利用到的python爬虫包：requests负责连接网站，处理http协议。bs4负责将网页变成结构化数据，方便爬取。偶尔会遇到用bs4也很难爬取的内容，这时就需要学学re（正则表达式）。这些包可以爬取静态网页了。

如果还想爬取js动态加载的网页，可以学习selenium或者ghost这两个包来控制浏览器，或者借助chrome开发者工具来查看网页加载时的交互。

为了存储爬下来的数据，你需要恶补python数据库连接知识。

爬到的数据需要展示，就需要接触django，flask等web开发框架。

多线程爬虫可以提高爬取效率，代理IP池与网站斗智斗勇。scrapy，pyspider框架部署。

 

转载于:https://www.cnblogs.com/cbyzju/p/5914361.html