爬虫自动更换代理

代理地址存放在quene队列或redis的list中，格式为ip:port        

建立一个更换代理的类

public class Proxy {

     public static String ip = "218.189.26.20";

     public static int port = 8080;

     public void change() {

           

           RedisUtil redisUtil = new RedisUtil();

           String poll = redisUtil.poll(" proxy");

           String[] split = poll.split(":");

           ip = split[0];

           port=Integer.parseInt(split[1]);

           System. out.println( "代理更换成功" +ip+"-------" +port);

     }

}

在httpclient中，调用上述类的静态变量

           HttpClientBuilder builder = HttpClients. custom();

           String hostname = Proxy. ip;

            int port = Proxy. port;

           

           HttpHost proxy = new HttpHost( hostname, port);

           CloseableHttpClient client = builder.setProxy( proxy).build();

当页面下载失败时，调用change方法，重新从队列中获取代理，此时还应该将下载失败的url重新放回下载队列

               if(content .contains("存在异常流量" )){

                     

                      logger.info( "代理已失效，开始换代理" );

                      Proxy proxy = new Proxy();

                      proxy.change();

                }