python爬虫环境安装

最新推荐文章于 2025-09-27 15:10:40 发布

原创

最新推荐文章于 2025-09-27 15:10:40 发布 · 673 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

本文详细介绍了Python爬虫环境的安装步骤，包括Python、pip的安装，请求库如requests、selenium与对应的浏览器驱动，解析库如lxml、BeautifulSoup、pyquery等，数据库与数据库API库，web服务库如flask、tornado，app爬取工具mitmproxy和appium，以及爬虫框架Scrapy与Scrapy-Redis的安装。确保你拥有完整的爬虫开发环境。

python爬虫环境安装

python爬虫环境安装

python爬虫环境安装

一、python 安装

1.1 python 安装
apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-dev
1.2 pip安装
apt install -y python3-pip

二、请求库安装

1.1 request库安装
pip3 install requests
1.2 selenium 安装
pip3 install selenium
1.3 chrome 安装
chrome下载地址：https://www.chrome64bit.com/index.php/google-chrome-64-bit-for-linux
deb包：
dpkg -i *.deb
如果安装出现报错缺少依赖，可先执行：apt-get -f --fix-missing install
然后再执行：dpkg -i *.deb
1.4 chromedriver 安装（版本需要和chrome配套）
chromedriver下载地址：http://chromedriver.storage.googleapis.com/index.html
选择对应的版本的包，解压后获得可执行文件并将其添加到环境变量。
1.5 aiohttp库安装
pip3 install aiohttp ## 下面是两个辅助推荐库
pip3 install cchardet aiodns ## 一个是字符编码检测库，一个是加速dns解析库
注：
1）chrome和chromedriver是Google