kocor的博客

最近用Scrapy做爬虫的时候碰到数据分布在多个页面，要发去多次请求才能收集到足够的信息，例如列表只有简单的几个信息，更多的信息在内页。查看官方文档没找到相关的案例或说明，这个有点坑。最后自己查了写资料，研究后一下，终于整出来了。yield scrapy.Request(item['url'], meta={'item': item}, callback=self.detail_parse

Python模拟登录多种实现方式基于Python 3.6#coding:utf-8import sysimport ioimport urllib.requestimport http.cookiejar################## 第一种登陆方式 #################################### 直接使用已知的cookie访问

项目github地址：https://github.com/kocor01/scrapy_cloudPython版本为3.6自己写的简单架构《python爬虫，爬取豆瓣电影《芳华》电影短评，分词生成词云图。》这个是用Scrapy框架重新实现的爬虫爬取最近比较火的电影《芳华》分词后生成词云图使用了 jieba分词，云图用wordclou

项目github地址：https://github.com/kocor01/spider_cloub/Python版本为3.6最近突然想玩玩云图，动手写了个简单的爬虫，搭建了简单的爬虫架构爬虫爬取最近比较火的电影《芳华》分词后生成云图使用了 jieba分词，云图用wordcloud生成用了朋友的2B姿势的自拍照片简单的P了下（为了不暴露，P成全黑的），作为生成云图的底图模板