selenium+chromeheadless爬取网站

最新推荐文章于 2024-07-30 15:42:18 发布

原创最新推荐文章于 2024-07-30 15:42:18 发布 · 616 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

python 专栏收录该内容

70 篇文章

订阅专栏

本文介绍使用Selenium和ChromeDriver结合无头模式抓取网页信息的方法。通过Python代码示例展示如何设置浏览器选项，包括窗口大小及无头模式，并获取指定网站的顶部链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

chromedriver
selenium
chrome --headless无头模式
phantomjs

from selenium import webdriver
options = webdriver.ChromeOptions()
#options.binary_location = '/Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome'
options.add_argument('window-size=800x841')
#options.add_argument('headless')
driver = webdriver.Chrome(chrome_options=options)
driver.get('https://www.baidu.com')
topLinks = driver.find_elements_by_xpath("//div/p/a[contains(@class, 'title')]")
for link in topLinks:
  print 'Title: ', link.text
driver.quit()