python爬虫常用库和安装 -- windows7环境

1：urllib  python自带

2：re      python自带

3：requests     pip install requests

4：selenium      需要依赖chromedriver

(selenium目前有版本限制：https://blog.youkuaiyun.com/qq_36625806/article/details/81463872)

下载地址：https://download.youkuaiyun.com/my

安装方式：解压后 python setup.py install -->>添加到环境变量path中

5：chromedriver    下载地址：https://download.youkuaiyun.com/download/qq_36625806/10589319

放到python安装目录中即可。

6：phantomjs 无界面浏览器，相当于一个网页控制台

下载地址：https://download.youkuaiyun.com/download/qq_36625806/10589328

将bin目录配置到环境变量的path中

7：xlml    pip install lxml

或访问：https://pypi.python.org/pypi/lxml  下载

8：beautifulsoup      pip install beautifulsoup4  (网页解析库，依赖xlml)

9：pyquery                  pip install pyquery  (网页解析库，语法跟jquery完全一致)

官方api：https://pythonhosted.org/pyquery/api.html

10：pymysql    pip install pymysql  (操作mysql的库)

11：pymongo   pip install pymongo  (操作Mongodb数据库)

12：redis           pip install redis   (操作redis)

13：flask           pip install flask   (代理)

14：django        pip install django  (python前端框架)

官网：https://www.djangoproject.com

15：jupyter        pip install jupyter    (记事本，可以在线运行代码)

安装jupyter如果遇到超时的问题，用以下命令安装：

pip install jupyter  --timeout 30000

 

jupyter安装成功后，在命令行输入 ：jupyter notebook启动

浏览器会自动打开jupyter

ctrl+回车  运行代码

b 换新行