
Scrapy
moonhillcity
这个作者很懒,什么都没留下…
展开
-
爬虫框架Scrapy之Item Pipeline
Item Pipeline 当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以下是item pipeline的一些典型应用: 验证爬取的数据(检查item包含某些字段,比如说name字段)查转载 2017-03-07 14:45:09 · 641 阅读 · 0 评论 -
[Scrapy]模拟登陆并获取Cookie值
1.分析登陆网址的方式 1.1使用Firefox或者Chrom浏览器F12,以Firefox登陆广工图书馆为例(该网址设计使用Cookie来记录登陆状态) 1.2登陆前 1.3登陆后 1.4根据登陆后可见POST方法的参数 __EVENTTARGET: __EVENTARGUMENT: __VIEWSTATE:/wEPDwULLTE0MjY3MDAxNzcPZBYCZ转载 2017-03-07 15:48:56 · 3652 阅读 · 0 评论