Python系列之爬虫软件安装

pycurl

简介

安装

#安装pycurl
pip install pycurl

# 安装phantomjs
1).下载phantomjs(http://phantomjs.org/download.html)官网下载mac版本
2).下载后直接解压，将解压后的phantomjs-2.1.1-macosx文件夹放到你想放的目录下(随意、开心就好) 


# 配置环境变量

phantomjs --version 


# 安装pyspider


# 验证安装pyspider
pyspider all

#查看pyspider启动情况
lsof -i:25555

#杀死进程
kill -9 14211

补充说明：

安装参考文章：https://www.jianshu.com/p/e37603bc70c7

常见问题

问题1：SyntaxError: invalid syntax

Traceback (most recent call last): File “/usr/local/bin/pyspider”,
line 5, in
from pyspider.run import main File “/usr/local/lib/python3.7/site-packages/pyspider/run.py”, line 231
async=True, get_object=False, no_input=False):
^ SyntaxError: invalid syntax

问题分析

源码里面使用了async作为变量名，但是python3.7以后async已经是关键字了，所以会报错。 参数明冲突：
https://blog.youkuaiyun.com/qq_26261381/article/details/86514138
https://www.jianshu.com/p/a0042a636229

解决方案

待修改文件 /usr/local/lib/python3.7/site-packages/pyspider/run.py /usr/local/lib/python3.7/site-packages/pyspider/webui/app.py
/usr/local/lib/python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py

问题2： libcurl link-time version (7.64.1) is older than compile-time version

ImportError: pycurl: libcurl link-time version (7.64.1) is older than compile-time version (7.65.3)

问题分析
https://www.cjjjs.com/article/201841813540391
查看curl版本，仅提取有用信息

curl -V curl 7.65.3 (x86_64-apple-darwin13.4.0) libcurl/7.65.3
OpenSSL/1.1.1d zlib/1.2.11 libssh2/1.8.2

查找当前系统libcurl.*文件

/usr/lib/libcurl.dylib /usr/lib/libcurl.4.dylib
/usr/lib/libcurl.3.dylib

/Users/apple/opt/anaconda3/lib/libcurl.dylib
/Users/apple/opt/anaconda3/pkgs/libcurl-7.65.3-h051b688_0/lib/libcurl.dylib

/System/Volumes/Data/Users/apple/opt/anaconda3/lib/libcurl.dylib
/System/Volumes/Data/Users/apple/opt/anaconda3/pkgs/libcurl-7.65.3-h051b688_0/lib/libcurl.dylib

解决方案一：卸载并升级pycurl

#首先确认当前执行脚本的Python版本，其次用该版本下的pip进行卸载、升级操作。
/usr/bin/python -m pip list
/usr/bin/python -m pip uninstall pycurl
/usr/bin/python -m pip install pycurl
or 
pip uninstall pycurl /  pip install pycurl

再次启动pyspider查看效果

#启动pyspider
pyspider all

仍旧报错，因此解决方案一验证失败
再次启动pyspider报错：

ImportError: pycurl: libcurl link-time version (7.64.1) is older than
compile-time version (7.65.3)

解决方案二：卸载并升级pycurl（推荐）

#重新编译安装
pip3 install pycurl --compile --no-cache-dir 

验证python导入的库文件目录

删除/usr/lib目录下面的libcurl.4.dylib库以后，报错：

import pycurl # type: ignore ImportError:
dlopen(/usr/local/lib/python3.7/site-packages/pycurl.cpython-37m-darwin.so,
2): Library not loaded: @rpath/libcurl.4.dylib Referenced from:
/usr/local/lib/python3.7/site-packages/pycurl.cpython-37m-darwin.so
Reason: image not found