- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy-redis 下载器并发数波动以及下载速度无法达到理论值的问题
问题 在用 scrapy-redis 进行分布式采集的过程中，分析日志发现 pages/min 数量呈现规律性的波动 原因分析 利用 Telnet 工具进行爬取状态的监控 在CONCURRENT_REQUESTS=16的情况下，爬虫刚启动时从 redis 队列中拉取 16 个请求，进入下载器，直到这16个请求全部下载完成后，爬虫进入空闲状态，调度器才会再次从redis队列中拉取16个请求 如果有使用代理的话，每一批请求的访问间隔则由最慢的那一次请求来决定，会拖慢整个爬虫的速度 解决方案 不知道 ...
2021-12-02 18:50:29
1739
2
原创 Ubuntu 18.04 LTS 使用笔记
系统优化记录 汉字显示问题，如：门，复。 传送门 为Ubuntu Dock启用Minimize on Click gsettings set org.gnome.shell.extensions.dash-to-dock click-action 'minimize' Caps改为Ctrl sudo vim /etc/default/keyboard 文件中修改 XKBOPTIONS...
2018-06-11 16:25:27
7174
原创 个人 Vim 操作小结
移动 (hjkl) → (←↓↑→) Ctrl + F/B 上/下一页 gg 跳到文档第一行 nG 跳到文档第n行 ^/数字0 跳到此行的开头字符/跳到此行的开始位置 $ 跳到此行的结尾 w/e, W/E 跳到单词的后面，小写包括标点 b, B 跳到单词的前面，小写包括标点 插入 i 插入到光标前面 I 插入到行的开始位置 a 插入到光标后面 A 插入到行的最后位置 o/O
2017-03-30 00:09:20
336
原创 Ubuntu 16.04/10 安装后总结
系统配置 安装独立显卡 系统设置-软件和更新-附加驱动-nvidia专有驱动-应用更改-重启 双显卡切换： NVIDIA X Server Settings-PRIME Profiles禁用鼠标加速>>sudo vim /usr/share/X11/xorg.conf.d/90-mouse.confSection "InputClass" Identifier "mouse"
2017-03-15 23:35:17
725
转载 Ubuntu 16.04/10 Git配置及连接Github
配置Git 1.安装：使用命令 sudo apt install git 2.本地生成ssh key：使用命令 ssh-keygen -t rsa -C "myname@email.com" 默认生成的key在/home/.ssh/id_rsa.pub（可由vim打开复制） 3.在github中添加SSH key：登录github-Account Settings-SSH Keys-Add SSH
2017-03-15 23:14:13
5864
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人