python爬虫常用库安装

本文详细介绍了一系列爬虫工具库的安装与配置方法,包括urllib、requests、selenium、chromedriver、phantomjs、lxml、beautifulsoup4、pyquery、pymysql、pymongo、redis及flask等,覆盖网页抓取、解析到数据存储的全流程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. urllib库

2. requests库 安装 pip install requests

3. selenium库 安装 pip install selenium 主要用于获取js渲染之后的内容

4. 安装 chromedriver

1.搜索chromedriver 下载安装包
在这里插入图片描述
2.下载

在这里插入图片描述
3.下载好的压缩包解压到配置了环境变量的python同级目录下
在这里插入图片描述
5.命令行测试,是否安装成功
在这里插入图片描述
实例化driver对象后,会出现浏览器弹窗,然后get()方法,可以打开网站。

5. 安装 phantomjs (无界面浏览器,相对于chromedriver ,是不会出现浏览器窗口)

下载phantomjs并解压,将bin目录下的phantomjs.exe文件放在python同级目录下,运行。
在这里插入图片描述
在使用时,selenium已经放弃phantomJs的支持,可以进行版本的降级,或者使用headless

5. 安装 lxml (pip install lxml)

6. 安装beautifulsoup库 (pip install beautifulsoup4)选择beautifulsoup4版本

7.安装pyquery(pip install pyquery 也是网页解析库,语法跟jquery类似)

8. 存储库 pymysql (pip install pymysql 用于操作mysql的库)

9. 存储库 pymongo (pip install pymongo 用于操作mongodb的库)

10. 存储库 redis (pip install redis 用于操作redis的库)

10. flask库安装(pip install flask )

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值