爬虫基础篇之Scrapy抓取京东

最新推荐文章于 2024-05-06 21:21:57 发布

onejane

最新推荐文章于 2024-05-06 21:21:57 发布

阅读量5.4k

点赞数 12

分类专栏：爬虫基础文章标签： scrapy

本文链接：https://blog.youkuaiyun.com/welggy/article/details/116023394

版权

爬虫基础专栏收录该内容

8 篇文章 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Scrapy框架抓取京东网站的分类信息和商品信息。首先，通过虚拟环境管理和Scrapy创建爬虫，然后分析京东网页结构，抓取各级分类的名称和URL。接着，实现商品爬虫，利用MongoDB存储数据，并使用scrapy_redis进行分布式爬取。此外，还详细讲述了如何处理反爬策略，包括实现随机User-Agent和代理IP的中间件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

虚拟环境

同一台服务器上不同的项目可能依赖的包不同版本，新版本默认覆盖旧版本，可能导致其他项目无法运行，通过虚拟环境，完全隔离各个项目各个版本的依赖包，实现运行环境互不影响。

virtualenv

pip install virtualenv		安装virtualenv
python -m pip install --upgrade pip  升级pip
pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com scrapy
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple  使用清华源
pip uninstall scrapy    卸载django 
virtualenv scrapytest   默认环境创建虚拟环境
cd scrapytest/Scripts &&  activate.bat && python 进入3.7虚拟环境
virtualenv -p D:\Python27\python.exe scrapytest
cd scrapytest/Scripts &&  activate.bat && python 进入2.7虚拟环境
deactivate.bat          退出虚拟环境

apt-get install python-virtualenv       安装虚拟环境
virtualen