SmartShylyBoy的博客

总结： selenium只是个虚拟的浏览器，或者说是一个web自动化测试工具，而不是真正意义上的爬虫框架一、ScrapyScrapy A Fast and Powerful Scraping and Web Crawling Framework关键词是和，使用过确实感觉如此。我感觉就是一个全家桶，它把爬虫所需要的大部分东西（为什么不是全部，下面会说到）都集成到这个框架中，如：下载器、中间件、...

学习爬虫我参考的是崔庆才爬虫入门，昨天晚上安装好了redis、mongodb等软件，今天正式开始学习py爬虫一、介绍库名：1、urllib库和re库，安装python时自动安装urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。re是一个正则库2、requests库equests是python实现的简单易用的HTTP库，使用起来比urllib...