
scrapy
文章平均质量分 78
普通网友
这个作者很懒,什么都没留下…
展开
-
scrapy打造知乎后花园一: 验证码登录
基本步骤:1.找到生成验证码图片的网址。2.显示有验证码的图片,手动输入验证码。3.发送用户名,密码,验证码等数据到知乎验证服务器。4.验证是否登录成功。原创 2017-07-17 17:28:36 · 3615 阅读 · 1 评论 -
scrapy打造知乎后花园二 :cookie模拟登陆 验证码 爬取首页内容
这篇文章来验证cookie模拟登陆+验证码爬取首页内容原创 2017-07-20 14:55:55 · 795 阅读 · 0 评论 -
scrapy打造知乎后花园三: 抓取关注用户数据 json异步动态加载
一、爬取思路 1.利用上一篇完成登录,然后去抓取数据。 2.随便找一个用户作为入口,然后利用Chrome工具找到他关注用户的API接口网址和传递的参数。 3.获取API接口返回的JSON数据。然后对JSON数据进行处理。 4.从关注者数大于10000的用户中随机取一个,去抓取他关注的人。如此循环。原创 2017-07-28 15:03:52 · 855 阅读 · 1 评论