qq_41805981的博客

urllib爬虫封装（具体其他功能根据需求完善） 1.支持设置HTTP Request Headers ,能设置UA。 2.支持代理服务器的设置。 3.它支持timeout超时机制。 4.它支持网页 的编码指定。 5.它支持服务器返回的错误处理 如果>400 and <500 直接记录日志， 如果错误码是500-600 则重新发起请求。 # -*- coding: ...

1. scrapy的安装 pip install scrapy 如果出错，安装相关的依赖包。 2.命令帮助 scrapy 3.创建一个scrapy项目 scrapy startproject tencentSpider 创建的结果如下: 创建的项目tencentSpider的目录结构： 4.生成一个具体的爬虫文件 scrapy genspider tencent hr.te...