Python使用selenium爬取动态网页时遇到的问题

欢迎转载，转载请注明出处：https://blog.youkuaiyun.com/qq_41521792/article/details/83211527
我们在做京东手机信息的爬取时，遇到的一些问题，现在就来跟大家分享一下。

1.首先，京东的网页是动态的，当我们搜索一个商品时，需要把页面往下翻，下面的内容才会出来，这也是我们选selenium方法的原因

解决方法：让浏览器模拟下拉几次页面即可

from selenium import webdriver
import time
import random
url = 'https://www.jd.com'
browser.get(url)
#模拟搜索 手机 信息
shuru = browser.find_element_by_id('search').find_element_by_class_name('form').find_element_by_id('key')
shuru.send_keys('手机')
button = browser.find_element_by_id('search').find_element_by_class_name('form').find_element_by_class_name('button')
button.click()
#最大化窗口
browser.maximize_window()
#加载完网页所有内容
for i in range(9):
	#有些网站反爬虫很厉害，将下拉的高度设置成随机的，看起来更像人为的在操作
	browser.execute_script('window.scrollBy(0,{0})'.format(random.randint(600,900)),'') 
	time.sleep(1)

2.提取所有的li标签（问题来了）

我们要获取每件商品对应