Star_Platinum的博客

spiderkeeper是一款开源的spider管理工具，可以方便的进行爬虫的启动，暂停，定时，同时可以查看分布式情况下所有爬虫日志，查看爬虫执行情况等功能。安装安装环境 ubuntu16.04 python3.5 pip3 install scrapy pip3 install scrapyd pip3 install scrapyd-client pip3 install ...

安装和使用的方法见链接https://cuiqingcai.com/4959.html 值得注意的是需要的request版本比较高，如果本机有需要用到低版本的request，最好在虚拟机中安装总结一个管理爬虫项目的可视化工具，把项目部署到管理的操作全部变为交互式，相当的直观和方便。但是比起spiderkeeper相比缺少了定时爬虫功能，同时对于爬虫情况的可视化也不够完善。...

1 安装Docker安装系统：Ubuntu16.04安装流程如下：更新ubuntu的apt源索引sudo apt-get update安装包允许apt通过HTTPS使用仓库sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-prope...

1.按照Docker网上教程很多，这里就不多啰嗦了2.生成requirements.txt文件pip install reqires安装完成后命令行进入项目根目录，输入pipreqs ./ --encoding=utf8如果不进入项目文件夹的话可以修改项目路径，也就是上面的./，后面的–encoding=utf8在window环境下必须加，用来指定编译格式，否则会报错；如果是lin...

因为网上没找到答案所以记录一下本人的路径是在C:\Users\Star Platinum\AppData\Local\conda\conda\envs\python_for_crawl\Scripts主要的话就是在 conda/conda/envs 中实在找不到的可以直接在文件搜索引擎用环境名来找到...

研究了半天总算搞清楚七牛云的第三方资源获取，在这里开源一下class SaveImage(object): def __init__(self): # Access Key 和 Secret Key self.access_key = 'YourAK' self.secret_key = 'YourSK' # 构建鉴权对象...