
Python爬虫相关
weixin_43209201
Don't wait until u are strong, but do something to be strong.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Python虚拟环境的安装和配置(windows)
注意:确保你已经有了python和pip可以通过cmd命令行简单地运行以下命令来检查:python --version您应该得到像3.6.2之类的一些输出。pip --version如果您使用python.org或Homebrew的安装程序来安装 Python,您应该已经有 pip 了。 如果您使用的是Linux,并使用操作系统的包管理器进行安装,则可能需要单...原创 2019-04-29 15:46:21 · 329 阅读 · 0 评论 -
pip安装scrapy框架失败:twisted安装失败 error: Microsoft Visual C++ 14.0 is required... 的解决方法
问题:在使用pip install scrapy命令安装scrapy框架时,Twisted出现安装错误。如下:.......解决:1、查找安装过程中Twisted的版本,在命令窗上找到Collecting Twisted>=13.1.0 (from scrapy)..Downloading..这两行,如下:记住Twisted的版本号,我的是19.2.0。查...原创 2019-04-29 16:33:24 · 647 阅读 · 0 评论 -
创建基于Scrapy框架利用CrawlSpider爬虫项目工程的步骤
1、安装Python虚拟环境的安装和配置,参考:https://blog.youkuaiyun.com/weixin_43209201/article/details/896738302、在创建好的虚拟环境Env中安装scrapy框架包,遇到twisted安装失败问题可参考:https://blog.youkuaiyun.com/weixin_43209201/article/details/89677795...原创 2019-04-29 18:37:03 · 664 阅读 · 0 评论 -
启动scrapy shell,提示No module named win32api
这说明缺少模块win32api,需要安装pypiwin32。注意:这个问题只在Windows中才会出现。解决办法:原创 2019-04-30 12:34:40 · 202 阅读 · 0 评论 -
pip安装selenium一直失败解决办法
解决办法:使用命令:python -m pip install selenium安装截图:selenium设计出来是做自动化测试的,正好 满足爬虫需求,所以用来爬虫。原创 2019-05-11 14:33:35 · 8582 阅读 · 3 评论 -
chromedriver下载地址及安装方法
Selenium从2升级到3之后呢,Selenium 3 相较于2最大的变化就是更加的标准化,可以支持更多的浏览器。那我们做自动化的时候如果用的是selenium3的话,首先要坐的就是下载不同浏览器的驱动。现在的驱动都是由各大浏览器自己更新提供。本人倾向于用chrome浏览器。下载地址:http://npm.taobao.org/mirrors/chromedriver/...原创 2019-05-11 14:45:28 · 1198 阅读 · 0 评论 -
测试selenium和chormedriver配置是否成功
在pycharm新建一个test.py文件,输入一下代码:# _*_ coding=utf-8 _*_from selenium import webdriver#设置你自己的chormedriver存放路径driver_path = r"D:\ProgramApp\ChromeDriver\chromedriver.exe"driver = webdriver.Chrome(...原创 2019-05-11 15:07:18 · 4704 阅读 · 1 评论