python selenium不启动浏览器爬取数据的方法

罗四强

于 2020-12-09 14:09:50 发布

阅读量2.6k

点赞数

分类专栏： python黑科技文章标签： python selenium 爬虫无头参数

本文链接：https://blog.youkuaiyun.com/weixin_42350212/article/details/110921525

版权

python黑科技专栏收录该内容

44 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

使用Python的Selenium库进行网页爬取时，通过设置无头参数，可以实现在不启动浏览器的情况下抓取数据。最新版Selenium已不再支持PhantomJS，但提供了其他方式实现无头浏览。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

为浏览器驱动添加一个无头参数。可以实现不开启浏览器爬取网页

源码如下：

# -*- coding:utf-8 -*-

from selenium import webdriver

import time

from selenium.webdriver.firefox.options import Options

fw=open("E:/pythonTest/zcl.html","w",encoding="utf-8")

options = Options()

options.add_argument('-headless') # 无头参数

browser=webdriver.Firefox(firefox_options=options)

def baidu():

browser.get("https://www.baidu.com/")


#在百度搜索框中输入关键字"python"

browser.find_element_by_id("kw").clear()

browser.find_element_by_id("kw").