工作需要要写一个spider访问XXX网站,但是由于我访问频率很高经常被XX网站封IP(我知道这是不道德的,但是没办法)。为了突破IP限制需要动态替换代理ip。
代码如下:
运行结果如下:
如果最后显示的IP与本机网络IP不一样说明我们达到了代理的功能,我自己的IP是 119.6.69.202 ,现在访问的IP是111.160.68.18说明成功了。
如果按照正常想象来看显示的IP是最后一个,也就是ip = "221.130.18.49"; 结果却是111.160.68.18。我想这应该是代理服务器的原因,不过这个没有关系,达到我们想要的目的就行了。
使用动态IP需要注意的地方:
1、如果动态IP错误,会以本机网络IP访问。如果端口错误,会报错。
2、代理IP哪里来呢? 我是从优易ip代理软件免费IP里找的,然后存到自己本机。如果对方封了我现在的IP,那么我就更换IP。
代码如下:
- import java.io.BufferedInputStream;
- import java.io.IOException;
- import java.net.URL;
- import java.net.URLConnection;
- import org.apache.log4j.Logger;
- /**
- * @author Jason
- * @date Oct 27, 2010
- * @version 1.0
- */
- public class TestProxyIp {
- private static final Logger log = Logger.getLogger(TestProxyIp.class);
- public static void main(String[] args) throws IOException {
- System.setProperty("http.maxRedirects", "50");
- System.getProperties().setProperty("proxySet", "true");
- // 如果不设置,只要代理IP和代理端口正确,此项不设置也可以
- String ip = "93.91.200.146";
- ip = "221.130.18.5";
- ip = "221.130.23.135";
- ip = "221.130.18.78";
- ip = "221.130.23.134";
- ip = "221.130.18.49";
- ip = "111.1.32.36";
- ip = "221.130.18.49";
- ip = "221.130.18.49";
- System.getProperties().setProperty("http.proxyHost", ip);
- System.getProperties().setProperty("http.proxyPort", "80");
- //确定代理是否设置成功
- log.info(getHtml("http://www.ip138.com/ip2city.asp"));
- }
- private static String getHtml(String address){
- StringBuffer html = new StringBuffer();
- String result = null;
- try{
- URL url = new URL(address);
- URLConnection conn = url.openConnection();
- conn.setRequestProperty("User-Agent","Mozilla/4.0 (compatible; MSIE 7.0; NT 5.1; GTB5; .NET CLR 2.0.50727; CIBA)");
- BufferedInputStream in = new BufferedInputStream(conn.getInputStream());
- try{
- String inputLine;
- byte[] buf = new byte[4096];
- int bytesRead = 0;
- while (bytesRead >= 0) {
- inputLine = new String(buf, 0, bytesRead, "ISO-8859-1");
- html.append(inputLine);
- bytesRead = in.read(buf);
- inputLine = null;
- }
- buf = null;
- }finally{
- in.close();
- conn = null;
- url = null;
- }
- result = new String(html.toString().trim().getBytes("ISO-8859-1"), "gb2312").toLowerCase();
- }catch (Exception e) {
- e.printStackTrace();
- return null;
- }finally{
- html = null;
- }
- return result;
- }
- }
运行结果如下:

如果最后显示的IP与本机网络IP不一样说明我们达到了代理的功能,我自己的IP是 119.6.69.202 ,现在访问的IP是111.160.68.18说明成功了。
如果按照正常想象来看显示的IP是最后一个,也就是ip = "221.130.18.49"; 结果却是111.160.68.18。我想这应该是代理服务器的原因,不过这个没有关系,达到我们想要的目的就行了。
使用动态IP需要注意的地方:
1、如果动态IP错误,会以本机网络IP访问。如果端口错误,会报错。
2、代理IP哪里来呢? 我是从优易ip代理软件免费IP里找的,然后存到自己本机。如果对方封了我现在的IP,那么我就更换IP。