jackssybin的专栏

python3.6已经不支持pyCrypto！！！不用费尽心思去尝试，修复了。 git问题地址：https://github.com/dlitz/pycrypto/issues/237 解决方法：https://github.com/Legrandin/pycryptodome 程序运行正常...

1，目标： 爬取贴吧每一贴，楼主图，并保存。 由于图片大多是楼主发的，如果全部查找会浪费很多时间。 2，分析 我选择爬取的贴吧为图吧，你们可以选择自己想要爬取的贴吧。 2.1，获取页面 我们将爬取页面的代码写成一个get_html()方法,给他传入url参数 代码如图： 获取正常，没问题。 我们用chrome的开发者模式来分析每个贴的连接，用定位定位一个帖子，这样方便我们快...

一.背景 最近玩爬虫，各种想爬，scrapy又非常好用。想多爬一点东西，决定爬一爬各大网站的热点新闻。 想到就开始做了哈 二.上代码 1.开始搭建项目 scrapy startproject crawl_everything #起了个叼叼的名字 2.修改配置文件 settings.py设置文件: ROBOTSTXT_OBEY = False # 下载延时 DOWNLOAD_D...