非凡的小羊-优快云博客

原创 python中设置代理的方法

proxyMeta="http//4cr9yfad675zh6@%(host)s%(port)s"%{#账密验证,需要购买的代理套餐开通才可使用账密验证，此种情况无需加白名单。#proxyMeta="http//%(host)s%(port)s"%{#白名单验证。print("耗时"+str(costTime)+"ms")print("耗时"+str(costTime)+"ms")print("耗时"+str(costTime)+"ms")...

2022-07-22 18:07:22 5126

原创如何判断是住宅ip还是机房ip？

住宅IP是由VerizonFiOS、AT＆TU-verse、Cox、Comcast、Charter或TimeWarner等（运营商）公司拥有的IP，它们可以在真人家庭中使用。但是前提条件是只有在设置代理成功的情况下，才能访问此网址，看到对应的ip是机房还是住宅ip。3.隧道转发基于IP轮换，我们可以将代理分为两类-轮换代理和非轮换（粘性IP）（ps相对于住宅ip，多了一层我们的轮换系统，无需客户提取）1.数据中心代理是使用数据中心（机房）拥有和管理的IP的代理,俗称机房IP代理。...

2022-07-19 09:45:51 4017

原创当使用Selenium WebDriver 加载页面时出现浏览器闪退时，如何解决？

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样，今天在针对js动态网页爬虫时，使用代理并使用Selenium，打开网页时，浏览器总是一闪而退，代码如下：from selenium import webdriverfrom seleniumwire import webdriverfrom selenium.webdriver.chrome.service import Servicedef chrome_proxy(): d

2022-07-04 17:34:58 10169 3

原创反爬503问题处理

1、在爬虫亚马逊（https://www.amazon.com/s?k=mans+swimsuits+tummy+control&page=5）的时候经常会遇到亚马逊返回的503，我这边即使使用了代理ip还是无法规避被限制的问题，该如何处理呢？我的解决方案：1、亚马逊对访问频率有着明显的限制，如果访问过快比如每次都是1秒内访问就会导致被亚马逊限制返回503，所以我们可以控制随机访问频率：我这边设置了随机从列表中随机取睡眠时间，然后再去设置代码访问目标地址，就可以正常返回了。注意：随机

2022-05-11 11:20:22 2818 1

原创 java中各种使用设置代理的方法

1、http代理package main.java.com.example;import org.apache.http.HttpHost;import org.apache.http.client.fluent.*;public class testproxy { public static void main(String[] args) throws Exception { HttpHost entry = new HttpHost("43.248.79.157",...

2022-04-13 14:25:44 7815 3

原创安装 cx_Freeze报错：“Building wheel for cx-logging (setup.py) ... error”

报错截图：第一步：查看Python版本、第二步：安装cx_logging 、第三步：安装cx_Freeze（ps：cx_Freeze与cx_logging要Python的对应版本我这边下载的是3.10版本并且是64位，下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml）...

2022-01-21 18:40:20 923

fluent-hc-4.2.2.jar用于设置代理

import org.apache.http.client.fluent.*; public class proxy { public static void main(String[] args) throws Exception { HttpHost entry = new HttpHost("43.248.99.36", 62084); String resp= Executor.newInstance() .auth(entry, "fd", "123")//账密 .execute(Request.Get("http://www.baidu.com").viaProxy(entry)) .returnContent().asString(); System.out.println(resp); } } 推荐一家好用的代理ip成功率挺高的：https://h.shenlongip.com/index?from=seller&did=h4Dmox

2022-04-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

原创 python中设置代理的方法

原创 如何判断是住宅ip还是机房ip？

原创 当使用Selenium WebDriver 加载页面时出现浏览器闪退时，如何解决？

原创 反爬503问题处理