爬虫
关注
分享
扫一扫
文章平均质量分 54
古风天下_醉意人生
明天的现在的你.
展开
-
分布式爬虫系统架构
原创 2020-05-26 10:54:55 · 413 阅读 · 0 评论 -
microsoft visual c++ 14.0 is required问题和mitmproxy执行python脚本出现no module ...问题
第十一章：app的爬取 在安装mimproxy的时候，遇到了解决microsoft visual c++ 14.0 is required问题需要下载的包，这个包同样可以解决其他情况下microsoft visual c++ 14.0 is required问题，但是安装scrapy时可以安装集成了这个.....c++14的twisted包。注意不要安装Visual Stu...原创 2018-07-29 20:44:05 · 2315 阅读 · 2 评论 -
解决执行爬虫框架scrapy命令时出现的缺少win32api问题
pip install pywin32解决执行爬虫框架scrapy命令时出现的缺少win32api问题原创 2018-07-26 14:59:12 · 709 阅读 · 1 评论 -
Could not find a version that satisfies the requirement pymysql3 (from versions: ) No matching dist
转载于https://blog.youkuaiyun.com/csdn_am/article/details/79924744有时我们使用下载python 自带的pip 安装一些工具包时，会报如下错误找不到满意的版本，这时就是我们的pip可能需要升级了，所以使用python -m pip install --upgrade pip升级一下pip ，--upgrade 后面跟的是需要升级的库...转载 2018-07-26 15:26:03 · 84549 阅读 · 12 评论 -
Visual Studio 2015版本下载地址和对应关系
Visual Studio 2015版本下载地址http://download.microsoft.com/download/B/8/9/B898E46E-CBAE-4045-A8E2-2D33DD36F3C4/vs2015.pro_chs.iso对应关系原创 2018-07-26 20:56:31 · 4107 阅读 · 0 评论 -
appium、mitmproxy、fiddler、charles搭配
1.使用appium时打开usb调试，注意有些手机比如我的vivo_Y55usb分的比较细，打开usb调试还不够还要打开usb模拟点击。2.windows下的mitmproxy的.exe版本和使用pip install mitmproxy版本不能一起用，为什么要一起用呢？因为.exe版本的可以在浏览器中监听request和response但是在windows下的pip install mitm...原创 2018-08-04 23:09:30 · 2524 阅读 · 0 评论 -
pycharm创建scrapy项目
1.命令行进入python2虚拟环境--安装scrapypip install scrapy创建项目弹出下图创建scrapy项目--进入到项目路径下cd myapp--创建spider ， scrapy genspider [options] <name> <domain>列： scrapy genspider ...转载 2018-07-27 23:09:11 · 3288 阅读 · 0 评论 -
scrapy crawl douban_spider这个出错 def write(self, data, async=False)
scrapy crawl douban_spider这个出错 File "d:\jsuk\python37\lib\runpy.py", line 85, in _run_code exec(code, run_globals) File "D:\JsuK\Python37\Scripts\scrapy.exe\__main__.py", line 9, in <mod...转载 2018-07-27 23:16:17 · 2840 阅读 · 0 评论 -
在window下的docker boxtool将docker镜像上传到dockerhub需要使用docker login进行本地验证
将docker镜像上传到dockerhub需要使用docker login进行本地验证否则报错原创 2018-08-19 15:36:53 · 425 阅读 · 0 评论