selenium下滑页面并获得所有链接个数

醒时风拂衣，情动忽提笔

已于 2024-08-14 09:32:07 修改

阅读量229

点赞数 1

文章标签： selenium python

于 2024-08-13 10:25:47 首次发布

本文链接：https://blog.youkuaiyun.com/bigdatasyr/article/details/141157061

版权

# 获取当前页面的高度
last_height = driver.execute_script("return document.body.scrollHeight")

# 模拟下拉操作，直到滑动到底部
while True:
    # 模拟下拉操作
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # 等待页面加载
    time.sleep(2)

    # 获取当前页面的高度
    new_height = driver.execute_script("return document.body.scrollHeight")

    # 判断是否已经到达页面底部
    if new_height == last_height:
        break

    # 继续下拉操作
    last_height = new_height
    time.sleep(2)
# 下拉完毕后返回顶部

driver.execute_script("var q=document.documentElement.scrollTop=0")

time.sleep(2)
# # 解析网页
page = driver.page_source
soup = BeautifulSoup(page,'html.parser')
pages = soup.find_all(class_='ps-wrapper bg-white px-16 py-20 mb-16')
#获取共有多少条数据
print(len(pages))
fori in range(1,len(pages)):
	jj_name=driver.find_element(By.XPATH,'//*[@id="__nuxt"]/aside/div/div[2]/div[1]/div[5]/div[' + str(i) + ']/div[1]/a').text

然后把len(pages)当做变量传入xpath中
需要注意的地方是，下拉到底部之后需要在上划到顶部才能不报错然后输出len(pages)
其中下拉代码参考
https://blog.youkuaiyun.com/naer_chongya/article/details/131071222