selenium代理ip可用性测试

原创已于 2024-01-19 19:48:27 修改 · 862 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #tcp/ip #可用性测试

于 2024-01-19 18:55:42 首次发布

本文介绍了如何使用Selenium库和UserAgent模块，通过ChromeWebDriver在无头模式下测试代理IP是否能正常工作，将有效的代理IP保存到文件中。

测试代理ip是否工作正常，将正常的代理ip提取出来

from selenium import webdriver
from fake_useragent import UserAgent
def check_proxy(proxy):
    print("开始测试："+proxy)
    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable‐gpu')
    chrome_options.add_argument("--disable-blink-features=AutomationControlled")
    chrome_options.add_argument('--proxy-server=http://' + proxy)
    chrome_options.add_argument(f"user-agent={UserAgent().random}")
    
    try:
        driver = webdriver.Chrome(options=chrome_options)
        driver.get("https://www.baidu.com")
        # You can add additional checks or actions here if needed
        driver.quit()        
        # Write usable proxies to ip1.txt
        with open('ip1.txt', 'a') as f:
            f.write(proxy+"\n")
        print(f"代理 {proxy} 工作正常")
    except Exception as e:
        print(f"代理 {proxy} 无法工作")

with open('ip.txt', 'r') as f:
    for line in f:
        ip = line.strip()
        check_proxy(ip)