u013683613的博客

准备工作：1、写一个run.bat批处理文件，最好放在与爬虫程序同一个目录如：@echo offrem 这里的D:和D:\Python 是Python文件所在的盘及路径D:cd D:\learn\ScrapyLearn\douban\douban\spiders scrapy crawl douban_spiderrem pauserem 可以执行多个任务scrapy cra...

elasticsearch 出现“java.lang.OutOfMemoryError: Java heap space”　　默认情况下，Elasticsearch JVM默认使用最小和最大大小为2 GB的堆。迁移到生产环境时，配置堆大小以确保Elasticsearch堆足够的大很重要的。Elasticsearch将通过Xms（最小堆大小）和Xmx（最大堆大小）设置分配jvm.options中...

def parse(self, response):print(’========== parse ==========’)print(response.text[:100]) body = response.body encodings = ['utf-8', 'gbk', 'gb2312', 'iso-8859-1', 'latin1'] for encoding ...

调试scrapy crawlspider项目时出现报错：AttributeError: ‘str’ object has no attribute 'iter’源码是：next_page = LinkExtractor(restrict_xpaths='//body/a/@href')度了一下：参考链接：https://stackoverflow.com/questions/29081...

Gerapy 使用Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发.Greapy安装1.gerapy下载pip install gerapygerapy 查看是否安装成功2.初始化...

曾国藩说过：“不自是，不失信，不贪财，有此三省，自然事事皆成。”

1.安装步骤下载匹配操作系统的版本（x86或x64）的java SDK(JDK)执行安装程序。下载elasticsearch-rtf(github下最新的版本)2.安装问题1：启动ElasticSearch服务提示找不到JDK或JRE，提示Could not find any executable java binary. Please install java in your PAT...

问题：翻页链接是JS实现的，无法在rules中定义获取，通过网页分析需要爬取的页面翻页规律“index_数字.html”,度了很多，均未找到理想的答案，尤其是如何结束？？？救急思路：只能通过修改start_urls 重载parse_start_url来预先生成urls的所有请求，再传给rules37 #重载该方法实现JS翻页无法获取翻页链接的问题 ，通过修改start_urls发出请求实...

在github上进行精准搜索技巧：in:name xxx // 按照项目名搜索in:readme xxx // 按照README搜索in:description xxx // 按照description搜索同时可增加筛选条件stars:>xxx // stars数大于xxxforks:>3000 // forks数大于xxxlanguage:xxx // 编程语言是xxx...

保持定期质疑一切