selenium 记录 performance日志

最新推荐文章于 2025-03-26 15:56:13 发布

走遍星空的CG

最新推荐文章于 2025-03-26 15:56:13 发布

阅读量7.8k

点赞数 3

分类专栏：爬虫学习文章标签： python爬虫 selenium performance

本文链接：https://blog.youkuaiyun.com/qq_24137739/article/details/100551059

版权

本文介绍了一种使用Selenium和ChromeDriver抓取网页时动态加载资源的方法，通过设置ChromeDriver的日志级别为'performance'，可以获取到浏览器在加载页面时的所有网络请求信息，包括请求和响应的详细数据，这对于分析动态加载的数据源非常有用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

做爬虫的时候，有时候遇到需要的数据在加载资源当中，通常做法是拼接url，然后获取数据，但首先需要进行分析，如果拼接中的参数有加密的情况时，如果不能模拟算法生成正确的参数，那就很头疼。而访问performance，可以获得加载网站时的资源请求信息，可以通过这一特点，获取url和数据。

import time

from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import json

class Mychrome:

    def __init__(self):
        self.options = webdriver.ChromeOptions()
        self.flash_urls = []
        self.set_browser()

    def set_browser(self):

        prefs = {
            "profile.managed_default_content_settings.images": 1,

        }
        if self.flash_urls is not None and len(self.flash_urls) != 0:
            prefs['profile.managed_plugins_allowed_for_urls'] = self.flash_urls
        self.options.add_experimental_option('prefs', prefs)

        # 方法1
        # capabilities = DesiredCapabilities.CHROME
        # capabilities[&#

最低0.47元/天解锁文章