Selenium文章获取所有评论，涵盖内容（点击下一页）

最新推荐文章于 2023-05-20 18:06:19 发布

智慧兽

最新推荐文章于 2023-05-20 18:06:19 发布

阅读量325

点赞数

文章标签： selenium python 爬虫

本文链接：https://blog.youkuaiyun.com/weixin_49712647/article/details/120543978

版权

该博客展示了如何利用Selenium Python库爬取静态网页的多页评论内容。通过切换到iframe并滚动加载更多评论，实现了从第2页到第5页的评论抓取。每条评论的内容被提取并打印，提供了网页抓取的基本步骤和实现细节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

静态页面爬取网页，涵盖内容（点击下一页）
具体代码操作如下：

# for i in range(2,10):
from selenium import webdriver
import requests
import time
driver_url = r"D:\anconda\msedgedriver.exe"
browser = webdriver.Edge(executable_path=driver_url)
browser.get("http://www.santostang.com/2018/07/04/hello-world/")
time.sleep(10)
s = 0
for i in (2,6):
    print("这是第{}页".format(i),'\n')
    time.sleep(5)
    browser.switch_to.frame(browser.find_element_by_css_selector("iframe[title='livere-comment']"))
    browser.execute_script("window.scrollTo(0,document.body.scrollHeight);")
    comments = browser.find_elements_by_css_selector("div.reply-content")
    for eachonecomment in comments:
        content = eachonecomment.find_element_by_tag_name('p')
        s = s+1
        print("第{}条评论".format(s),content.text)
    load_more_clic = browser.find_element_by_css_selector("button.page-btn[data-page='{}']".format(i))
    load_more_clic.click()
    browser.switch_to.default_content()
    if i ==3:
        print("完成")