weixin_66068814的博客

原创 python爬虫爬取的图片提示未加载，尝试外部打开以修正格式

原因还是写多了请求头requests，记住requests不要写满，只写必要的几个，requests会帮你补充的。

原创 python爬虫page页全部都是乱码，解决方法。

python爬虫全部乱码解决方法

原创 pyspider学习过程1、pyspider的代码编写不同点和注意事项 2

原创 pyspider学习过程1、pyspider的安装和注意事项

一般来说按照下面的的过程基本上就可以使用了但是也有另一种情况如下遇到箭头指的错误，在运行pyspider时会报错 “ImportError: cannot import name 'ContextVar' ”原因是flask版本太高，导致不兼容。只需要卸载flask然后安装1.0版本就可以了，如下暂时没有了...

原创 分布式爬虫2后半段

这里的ITEM_PIPELINES只留scrapy_redis,因为这里是将数据传输到redis数据库中，然后再将数据传输到mysql中。下图是将redis中的数据传输到mysql中的代码需要注意的在图片的注释里。下面是运行成功的图片在redis可视化工具中进行Reload，刷新发现只剩下进行去重的指纹（zh：dupefilter）数据，表示数据已经传输到mysql里了，打开navicate就会发现数据的存在。...

原创 分布式爬虫1前半段

原创 scrapy6，爬虫，媒体管道的个人解析（注意事项在图中的注释里）

原创 scrapy6 的媒体管道的学习记录， 正在学习的学子们，只有自己一点一点敲得代码和沉住气学才能学下来。（要注意的东西我都写在注释里去了）

原创 scrapy6爬虫的管道与直接存储注意点

python爬取百度猫咪图片注意事项，与心得。

原创 KeyError(f“{self.__class__.__name__} does not support field: {key}“)问题解决过程

原创 学习进度3

原创 学习进度日记