分享python+Selenium测试工具模拟浏览器检索数据

:MNongSciFans

已于 2024-09-16 22:36:51 修改

阅读量1.3k

点赞数 43

文章标签： python

于 2024-03-02 12:05:03 首次发布

本文链接：https://blog.youkuaiyun.com/david_232656/article/details/136411677

版权

本文介绍了如何使用Python的Selenium库配合ChromeDriver进行网页自动化测试，包括设置Chrome的无界面模式、禁用JavaScript、设置用户代理等，以及处理Chrome版本兼容性和页面抓取的详细步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

执行JS的类库：execjs，PyV8，selenium，node

pip list

pip install selenium

pip install xlrd

pip install xlwt

pip install PyExecJS

pip install xlutils

selenium测试工具可以用来模拟用户浏览器的操作，其支持的浏览器有：PhantomJS,Firefox,Chrome等等，开发者可以根据当前的系统形式选择不同的模拟浏览器。
每种模拟浏览器都需要对应的浏览器驱动（一个以.exe为后缀的可执行文件），使用谷歌浏览器Chrome，对应的浏览器驱动可以通过下面的网址下载。要完整地安装Python-Selenium库，让Chrome浏览器实现自动化，需要完成下面4步：Chromedriver安装、Selenium库安装、测试、关闭Chrome浏览器自动更新。

ChromeDriver - WebDriver for Chrome - Downloads

如果您使用的是Chrome 115或更新版本，请参阅Chrome测试可用性仪表板。此页面为特定的ChromeDriver版本提供下载。

# -*- coding: utf-8 -*-
"""
Created on Thu Feb 24 16:10:55 2024
@author: Administrator
"""

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
 
import threading
from datetime import datetime
from queue import Queue
 
from xlrd import open_workbook
from xlutils.copy import copy

import random
import time

import re


class ShellChrome(object):
   def __init__(self,count):
       self.count = count
       self.que = Queue(maxsize = count)
       ua = self.getheaders()
       #mobile_emulation = {"deviceName": "Nexus 7"}
       self.options = webdriver.ChromeOptions()
       # 把Chrome设置成可视化无界面模式，windows/Linux 皆可
       self.options.add_argument('headless')
       # 转换手机模式
       #self.options.add_experimental_option("mobileEmulation", mobile_