selenium + python环境搭建

本文档介绍了如何使用Python的Selenium库在Windows环境下搭建网页爬虫。首先,介绍了由于1688网站的反爬策略,选择Selenium作为解决方案。接着,详细阐述了安装Python 3.6.1、Chrome浏览器,以及如何通过pip安装Selenium。然后,指导读者如何确定Chrome版本,下载匹配的chromedriver,并将其配置到系统环境变量中。最后,展示了成功配置后的运行结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 背景

本来想使用scrapy来实现,但是在实现时遇到两个问题:

2017-11-16 14:27:46 [scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (301) to <GET http://m.1688.com/touch/?src=desktop> from <GET https://www.1688.com/>
2017-11-16 14:27:56 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://m.1688.com/touch/?src=desktop> (failed 1 times): 503 Service Unavailable
  • 解决方法是将user-agent固定为PC版本,确实能获取到正常的主页,如下:
request.headers['User-Agent'] = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.3
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值