第一次调试python爬虫

本文详细记录了在Mac环境下使用Python2.7调试爬虫脚本的过程,包括解决执行权限、语法错误、缺失模块等问题,以及修正urllib.request语法。

爬虫脚本

今天突发奇想,想在自己的mac上执行下爬虫脚本,奈何自己python水平有限,只好从网上找了爬虫脚本
环境:mac python 2.7
相关命令:which python

第一步 找到脚本

https://zhuanlan.zhihu.com/p/57780822

第二步 在本地创建文件执行解决权限问题

创建文件:vi pic_down.py
执行:./pic_down.py
报错:Permission denied
解决:chmod a+x pic_down.py

第三步 执行解决语法问题

执行:./pic_down.py
报错:./pic_down.py: line 1: import: command not found
解决:在头部加上 #!/usr/bin/python

第三步 解决缺少module问题

执行:./pic_down.py
报错:ImportError: No module named requests
解决:百度得出结论,缺少module,进入到/System/Library/Frameworks/Python.framework/Versions/2.7/bin目录
需要执行 pip install requests 命令

执行:pip install requests 报错,pip命令找不到
解决:https://blog.youkuaiyun.com/ywj_486/article/details/80678720
具体就是执行 sudo easy_install pip 命令

执行:pip install requests 报错,没有权限
解决:执行 sudo pip install requests 成功

继续执行:./pic_down.py
报错:ImportError: No module named lxml 报错
解决:执行 sudo pip install lxml 成功

第四步 修正语法

执行:./pic_down.py
报错:AttributeError: ‘module’ object has no attribute ‘request’
解决:网上各种答案不能解决,查了下urllib语法,把request去掉,完美执行
https://www.cnblogs.com/sysu-blackbear/p/3629420.html

继续学习之路
https://zhuanlan.zhihu.com/p/21479334

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值