beautifulgreat的博客

原创 python爬虫入门学习的路径研究

1.学习python包并实现基本的爬虫过程“发送请求——获得页面——解析页面——抽取并储存内容”的流程爬虫相关的包：urllib、request、bs4、scrapy、pyspider等，可从request和xpath开始，其中，request赋值链接网站，返回网页。xpath用于解析网页，便于抽取数据。若需要爬取异步加载的网站，可以学习浏览器抓包分析真实请求或者学习selenium来实现自动化。...