python3.6在windows下安装scrapy遇到的问题总结

在Windows下安装Python爬虫框架Scrapy时,遇到编码问题和依赖库Twisted的安装问题。通过修改pip的兼容性代码和手动下载安装Twisted的whl文件解决。详细步骤包括:修改`__init__.py`文件中的解码方式,下载与Python版本和系统架构匹配的Twisted whl文件,最后成功安装Scrapy。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.看到相关文档写到安装srcrapy,只要python安装时有点选pip,并且添加到path中,就可以在命令符窗口下直接输入:pip install scrapy   因此我也按照此步骤操作   出现了以下提示:

Traceback (most recent call last): File "c:\users\46782\appdata\local\programs\python\python36\lib\site-packages\pip\basecommand.py", line 215, in main status = self.run(options, args) File "c:\users\46782\appdata\local\programs\python\python36\lib\site-packages\pip\commands\install.py", line 342, in run prefix=options.prefix_path, File "c:\users\46782\appdata\local\programs\python\python36\lib\site-packages\pip\req\req_set.py", line 784, in install **kwargs File "c:\users\46782\appdata\local\programs\python\python36\lib\site-packages\pip\req\req_install.py", line 878, in install spinner=spinner, File "c:\users\46782\appdata\local\programs\python\python36\lib\site-packages\pip\utils\__init__.py", line 676, in call_subprocess line = console_to_str(proc.stdout.readline()) File "c:\users\46782\appdata\local\programs\python\python36\lib\site-packages\pip\compat\__init__.py", line 75, in console_to_str return s.decode('utf_8')UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 72: invalid start byte

解决方法:

打开python安装目录\python36\lib\site-packages\pip\compat\__init__.py约75行return s.decode('utf_8') 改为return s.decode('cp936')

2.继续按照上述操作,在命令符窗口输入:pip install scrapy,结果出现一下错误:

解决方法:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件(如Twisted-17.5.0-cp35-cp35m-win_amd64.whl),cp后面是Python版本,amd64代表64位,运行安装命令:

pip install  存放路径\Twisted-17.5.0-cp35-cp35m-win_amd64.whl

备注:这里amd后面的32、64一定要和自己电脑上安装的python一致 

之后执行pip install scrapy  安装成功

以上是自学过程中遇到的问题,总结一下,方便以后查阅


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值