使用selenium获取百度热搜词

最新推荐文章于 2024-12-06 12:02:02 发布

原创最新推荐文章于 2024-12-06 12:02:02 发布 · 736 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #xpath #python

本文介绍使用Selenium和Firefox浏览器的无头模式抓取百度热搜词汇的具体实现过程。通过定位页面元素并触发点击事件，再抓取显示的热搜词汇，最后关闭浏览器。此方法适用于自动化网页数据抓取。

使用selenium获取百度热搜词

import time
from selenium.webdriver import firefox,Firefox,FirefoxOptions
option=FirefoxOptions()
option.add_argument("--headless")   #隐藏浏览器
option.add_argument("--no-sandbox")
browser = Firefox(executable_path=r'D:\huohuqudong\geckodriver-v0.26.0-win64\geckodriver.exe',options=option)
url='https://voice.baidu.com/act/virussearch/virussearch?from=osari_map&tab=0&infomore=1'
browser.get(url)
# print(browser.page_source)
button = browser.find_element_by_css_selector('#ptab-0 > div > div.VirusHot_1-5-5_32AY4F.VirusHot_1-5-5_2RnRvg > section > div')
# button = browser.find_elements_by_xpath("//*[@id='ptab-0']/div/div[2]/section/div/text")
button.click()
time.sleep(1)
c = browser.find_elements_by_xpath("//*[@id='ptab-0']/div/div[2]/section/a/div/span[2]")
for i in c:
    print(i.text)
browser.close()