WebDriver配置Firefox代理服务器

最新推荐文章于 2024-07-29 10:33:08 发布
转载 最新推荐文章于 2024-07-29 10:33:08 发布 · 3.5k 阅读 · 1

本文介绍如何在Python2.6+Selenium2.6环境下为Firefox浏览器配置HTTP及HTTPS代理，包括必要的参数设置及常见问题解决方法。

这玩意儿网上很多，但是坑更多，现在记录一个肯定能用的。

我的环境是Python 2.6 + Selenium 2.6

from selenium import webdriver
profile = webdriver.FirefoxProfile()
profile.set_preference('network.proxy.type', 1)
profile.set_preference('network.proxy.http', 'proxy_url')
profile.set_preference('network.proxy.http_port', 3128)
profile.set_preference('network.proxy.ssl', 'proxy_url')
profile.set_preference('network.proxy.ssl_port', 3128)
profile.update_preferences()
driver = webdriver.Firefox(profile)

这些坑分别是：

有些地方只告诉你配置network.proxy.http和network.proxy.http_port。但是如果不设置network.proxy.type，一切都是浮云。这个配置是个整数，默认是0，就是直接连接；1就是手工配置代理。
profile.set_preference(‘network.proxy.type’, 1)

那个端口号3128是整数
profile.set_preference(‘network.proxy.http’, ‘proxy_url’)
profile.set_preference(‘network.proxy.http_port’, 3128)

如果有些资源是https的，是需要另外配置network.proxy.ssl和network.proxy.ssl_port的。例如facebook的图片。。。

set完以后，是需要update_preferences的。。。
profile.update_preferences()

最后贴一个完整的Firefox配置参数表：http://kb.mozillazine.org/Firefox_:_FAQs_:_About:config_Entries

如果发现自己的配置好像没有生效，那么在webdriver启动的Firefox里面输入about:config。然后对着上面那个配置参数表来看。总会发现掉哪个坑的。

解决爬虫IP限制：Selenium隧道代理完整解决方案
数据狐（DataFox19970-108-018）
09-03 424
插件包含manifest.json和background.js文件，通过chrome.proxy.settings设置代理规则，并处理webRequest.onAuthRequired认证回调。使用ChromeOptions配置代理服务器参数：--proxy-server=http://username:password@proxy_ip:proxy_port。禁用图片加载提升性能：--blink-settings=imagesEnabled=false。代理池轮换机制：通过随机选择代理IP实现IP切换。
【爬虫】python+selenium+firefox使用与部署详解
热门推荐
惜鸟的博客
08-15 1万+
我的梦想，值得我本人去争取，我今天的生活，绝不是我昨天生活的冷淡抄袭。—— 司汤达《红与黑》 一. 概述 对爬虫感兴趣学习过 requests、scrapy 等 python 库用来爬取一些网站数据，最近刚好由于需要，又开始做一些爬虫相关的工作，写本文的目的是将自己学习过程和遇到的问题记录下来，一方面巩固学习的知识，另一方面希望对遇到同样问题的朋友提供一些帮助。 本文主要从以下几个方面介绍（这也是自己学习的过程）： 为什么要使用 selenium 传统方式配置使用 selenium 二. 为.
Firefox for Android 代理设置
yulunze的博客
11-22 1万+
目前发现 Android 平台的浏览器原生支持代理配置的仅 Firefox for Android（官方下载），不仅支持 HTTP、HTTPS 和 Socks4、5，还支持 PAC 脚本。在 Firefox 中访问 about:config，使用 proxy 过滤器并的找到 network.proxy.socks, network.proxy.socks_port, network.proxy.socks_remote_dns, network.proxy.type 并更改成图中配置。 HTTP代理配置：
webdriver-设置firefox代理.
weixin_30389003的博客
12-28 380
FirefoxProfile f = new FirefoxProfile(); f.AddExtension(@"your xpi path"); f.SetPreference("network.proxy.type",1); f.SetPreference("network.proxy.http", "proxy_...
selenium中Firefox设置代理（python）
eighttoes的博客
02-04 6354
selenium中Firefox设置代理（python） 参考： https://zhuanlan.zhihu.com/p/39281522 https://passerbyy.iteye.com/blog/1286292 from selenium import webdriver from selenium.webdriver.firefox.firefox_profile import Fi...
webdriver_firefox_chrome
10-11
本篇将详细介绍"webdriver_firefox_chrome"这一主题，包括WebDriver的基本概念、用途、Chrome WebDriver（ChromeDriver）与Firefox WebDriver（GeckoDriver）的特性以及它们在Selenium框架中的应用。 WebDriver是一...
Java Selenium WebDriver：代理设置与图像捕获
Z_suger7的博客
07-25 864
在网络爬虫和自动化测试领域，Selenium WebDriver 是一个非常流行的工具，它允许开发者模拟用户在浏览器中的操作。然而，出于安全或隐私的考虑，有时我们需要通过代理服务器来发送请求。本文将介绍如何在Java环境中使用Selenium WebDriver设置代理，并捕获目标网页的图像。
使用WebDriver模拟Firefox浏览器自动化操作
标题“webdriver模拟火狐firefox浏览器”明确指出了本文件的核心内容：使用WebDriver技术来实现对Mozilla Firefox浏览器的自动化控制。结合描述“webdriver模拟火狐firefox浏览器”，我们可以进一步确认该资源聚焦于...
webdriver .Firefox options
05-16
`webdriver.FirefoxOptions()`是一个类，用于设置Firefox WebDriver的选项。 以下是一些常见的选项： ...这将创建一个Firefox WebDriver实例，并使用无头模式和代理服务器127.0.0.1:8080来访问网页。
解决Firefox代理身份验证弹出窗口问题：C#和Selenium实战指南
最新发布
ip16yun的博客
07-29 660
如果在实际应用中遇到任何问题，请参考Selenium和C#的官方文档，或者在开发者社区中寻求帮助。在使用Selenium和C#进行网页抓取时，遇到代理服务器的身份验证弹出窗口是一个常见的问题。本文将提供一个实战指南，帮助开发者解决这个问题，并介绍如何在代码中设置代理IP、UserAgent和Cookies。上述代码展示了如何使用C#和Selenium设置Firefox浏览器的代理身份验证，并包括了UserAgent和Cookies的设置。在实际使用时，请将代理信息替换为亿牛云爬虫代理提供的真实数据。
selenium | firefox代理设置
Maple的博客
02-28 6521
1.背景 因为公司需要爬去大量的信息，公司ip很快就被对方平台封了，因此果断选择selenium模拟登录，并设置代理。但我目前在网上找的解决方案都不行，貌似是selenium版本的问题。后来我通过阅读selenium官方文档，整理总结了selenium For Firefox的代理设置。 2.代码 def get_browser(): proxies = get_proxy() #...
python使用selenium火狐驱动如何设置代理ip
得塔云的博客
05-19 933
在Python中使用Selenium与Firefox驱动（GeckoDriver）时，设置代理IP通常涉及几个步骤。这可以通过修改Firefox的配置文件（通常是。）或者使用Selenium的。
Webdriver设置Firefox自动下载
u012230451的专栏
08-02 239
  FirefoxProfile profile = new FirefoxProfile(); profile.setPreference("browser.download.downloadDir", "c:\\excelData"); profile.setPreference("browser.download.defaultFolder", "c:\\excelData"); ...
webdriver 设置代理
韩小熙(Java)
04-14 4326
在 做selenium自动化测试的时候遇到浏览器打不开指定网页 这个情况下需要设置代理： 代码如下：  System.setProperty("webdriver.firefox.bin","E:\\asiaInfo\\firefox\\firefox.exe");//启动浏览器 //设置狐火浏览器代理： FirefoxProfile profile = new FirefoxProfil
Selenium-webdriver系列教程(16)————为firefox设置代理
可口可乐的博客
11-06 2571
下面的代码可以帮助你实现firefox测试运行时代理配置的功能。大概的思路是通过设置profile对象来进行配置。 [ruby] view plaincopyprint? profile = Selenium::WebDriver::Firefox::Profile.new  # 新建了url为proxy.org，端口为8080的htpp代理   proxy = Selen
selenium 和 firefox 的代理配置(python)
cc的博客
04-23 1920
import requests PROXY_POOL_URL = 'http://localhost:5000/get' # 通过proxypool获取代理ip def get_proxy(): try: response = requests.get(PROXY_POOL_URL) if response.status_code == 200: ...
python爬取网页实例(二)－selenium设置Firefox代理
u800820的专栏
01-14 613
依旧先上代码。 # -*- coding:utf-8 -*- from lxml import etree from fake_useragent import UserAgent from selenium import webdriver ua = UserAgent() ua_header = { 'User-Agent': ua.random, 'Cookie': '...
selenium中启动firefox浏览器时设置代理、加载配置文件、加载某个插件以及firefox没有安装在默认路径下的代码写法
馨若梦的博客
08-27 2396
selenium 中启动firefox浏览器的六种方式，所用的是java     1、如果浏览器没有安装在默认路径下，则用           System.setProperty("Webdriver.firefox.bin","firefox浏览器的安装路径")；             完整代码如下： import org.openqa.selenium.WebDriver; im...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值