selenium爬取京东的手机分类页面下的商品信息

本文介绍了如何使用selenium库配合pycharm爬取京东商城手机分类页面的商品信息,包括价格、型号等。通过查看网页源码定位需要爬取的数据,并提供了爬虫代码实现。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

selenium爬取京东的手机商品信息

利用pycharm爬取京东商城的手机商品的信息(价格,型号,样式,或者内存详细信息)

python的入门库

师傅领进门修行在个人!!!

import requests#请求库
from bs4 import BeautifulSoup #解析网页用
import lxml #解析网页

headers = {
   
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0'
'Referer':'https://www.jd.com/'
}#设置请求头模拟浏览器访问,防止反爬虫系统

url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=0184af803e7e4c309dde99e28a40547d'

r.requests.get(url,headers = headers)#向网页发送请求

#print(r.status_code)#返回状态码
#print(r.text)#返回网页代码

soup = BeautifulSoup(r.text,'lxml')#解析网页

info_frist = soup.find_all(attrs = {
   'class':'gl-i-wrap'})
#根据所需要爬取的东西的网页代码id进行爬取

for title in info_frist:
	print(title.text.replace('n',''))
	#遍历info_获取的信息进行格式化输出

查看网页源码

打开京东商城搜索手机,注意要再点击一下分类处的手机(下图),否则会有其他收集相关的产品干扰信息,第二个图为手机商品图
在这里插入图片描述在这里插入图片描述

F12大法,定位到需要爬取位置的源码,得你所得。

下一步打开pychrm(python软件,不会还有人不会配环境吧,不会吧不会吧)

代码

	**话不多说直接上代码**
	**都带注释的,不懂的再私信我,在线答疑**
import csv
import json
import random
import re
import time
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from</
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值