
MongoDb
TheSpySpider
Spiders are surfing on the Internet.
展开
-
Scrapy框架整合英雄缩略图(APP)
1.自定义需求 英雄联盟的英雄皮肤,手机app查看太麻烦,一个个翻,看起来不够直观,想要实现按英雄名称文件夹命名,分类保存在本地,英雄的数据信息保存在数据库中,需求很简单吧! 2.需求分析 a)根据英雄名称创建文件夹 b)根据英雄所有皮肤图片链接保存图片 c)英雄的属性信息保存MongoDb 3.实现思路 a)用到技术点:Fiddler抓包工具+Python语言+Scrapy框架+M...原创 2018-08-28 22:37:40 · 894 阅读 · 2 评论 -
Scrapy框架微博头条更新
1.自定义需求 a)当前更新的微博头条内容,发送邮件通知 1.分析页面 a)访问微博主页:https://weibo.com/,记录cookies b)登陆链接请求 https://login.sina.com.cn/sso/login.php c)访问头条链接 https://d.weibo.com/623751_1 3.实现思路 a)微博模拟登陆,保存cookie信息 b)...原创 2018-08-29 22:29:13 · 815 阅读 · 0 评论