pcengineercn的博客

下载 Nodejswgethttps://nodejs.org/dist/v12.16.1/node-v12.16.1-linux-x64.tar.xz创建 nodejs 目录mkdir /usr/local/nodejs将node-v12.16.1-linux-x64.tar.xz解压到 /usr/local/nodejs 中tar -xvfnode-v...

安装elasticsearch集群搭建修改 elasticsearch主目录/conf/elasticsearch.yml文件，每个节点的名称保持唯一，集群名称保持一致cluster.name: <集群名称>node.name: <节点名称>node.master: true # 参与主节点选举node.data: true # 是否作为数据节点...

scrapy-redis在爬取页面完成后会处于空爬状态，不会自动结束可以通过配置scrapy扩展来解决这个问题在项目目录新建extensions.pyimport timefrom scrapy import signalsfrom scrapy.exceptions import NotConfiguredclass ScrapyRedisAutoClose(ob...

安装第三方库pip install scrapy-redis-sentinel修改 setting.py文件ITEM_PIPELINES = {'scrapy_redis_sentinel.pipelines.RedisPipeline': 543,}# Bloomfilter 配置# 使用的哈希函数数，默认为 6BLOOMFILTER_HASH_NUMBER = ...

由于一些网站的反爬机制，会识别window.navigator.webdriver，对爬虫进行封禁通过阅读pyppeteer的源码，可以通过修改源码来达到隐藏window.navigator.webdriver的效果步骤找到pyppeteer的launcher.py一般在 Python的home目录\Lib\site-packages\pyppeteer\定位到60行，找到参数...

下载elasticsearch-analysis-hanlp-5.2.2.zip（es版本要和hanlp版本保持一致） https://github.com/KennFalcon/elasticsearch-analysis-hanlp.git 进入es目录/bin输入以下命令 elasticsearch-plugin install file:///路径/elasticse...

安装通过pip命令安装pip install pyppeteer对应的chromium在pyppeteer首次启动时会自动下载，不需要手动配置常见报错信息/root/.local/share/pyppeteer/local-chromium/575458/chrome-linux/chrome: error while loading shared libraries: li...

目录系统环境安装Docker安装splash 系统环境 centos7.3 安装Docker 更新yum包yum update以yum方式安装 yum -y install docker启动docker service docker start测试运行docker docker run hello-worl...

Lua脚本function main(splash, args) splash:go(args.url) splash:wait(args.wait) splash:runjs("iframe = function(){ var f = document.getElementById('g_iframe'); return f.contentDocument....