selenium+Xpath+csv爬取京东商品信息
selenium爬取京东的手机商品信息
利用pycharm爬取京东商城的手机商品的信息(价格,型号,样式,或者内存详细信息)
python的入门库
师傅领进门修行在个人!!!
import requests#请求库
from bs4 import BeautifulSoup #解析网页用
import lxml #解析网页
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0'
'Referer':'https://www.jd.com/'
}#设置请求头模拟浏览器访问,防止反爬虫系统
url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=0184af803e7e4c309dde99e28a40547d'
r.requests.get(url,headers = headers)#向网页发送请求
#print(r.status_code)#返回状态码
#print(r.text)#返回网页代码
soup = BeautifulSoup(r.text,'lxml')#解析网页
info_frist = soup.find_all(attrs = {
'class':'gl-i-wrap'})
#根据所需要爬取的东西的网页代码id进行爬取
for title in info_frist:
print(title.text.replace('n',''))
#遍历info_获取的信息进行格式化输出
查看网页源码
打开京东商城搜索手机,注意要再点击一下分类处的手机(下图),否则会有其他收集相关的产品干扰信息,第二个图为手机商品图
F12大法,定位到需要爬取位置的源码,得你所得。
下一步打开pychrm(python软件,不会还有人不会配环境吧,不会吧不会吧)
代码
**话不多说直接上代码**
**都带注释的,不懂的再私信我,在线答疑**
import csv
import json
import random
import re
import time
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from</