Java实现Ip代理池

最新推荐文章于 2025-06-27 16:29:34 发布

Asche910

最新推荐文章于 2025-06-27 16:29:34 发布

阅读量5k

点赞数 6

CC 4.0 BY-SA版权

文章标签： Java Proxy Ip代理

本文链接：https://blog.youkuaiyun.com/Asnet_/article/details/86552290

本文介绍了如何使用Java爬取并过滤代理IP，创建代理池。通过解析西刺代理网站获取HTTP和HTTPS代理，然后设置单次和全局代理，利用多线程检测代理有效性，并探讨了优化策略，如速度提升和并发控制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

设置Ip代理很多时候都会有用到，尤其是在写爬虫相关项目的时候。虽然自己目前没有接触这种需求，但由于最近比较闲，就写着当作练习吧

爬取代理IP

爬取

关于爬取代理IP，国内首先想到的网站当然是西刺代理。首先写个爬虫获取该网站内的Ip吧。

先对国内Http代理标签页面进行爬取，解析页面使用的Jsoup ，这里大概代码如下

 private List<IPBean> crawl(String api, int index){
   
   
        String html = HttpUtils.getResponseContent(api + index);
        System.out.println(html);

        Document document = Jsoup.parse(html);
        Elements eles = document.selectFirst("table").select("tr");

        for (int i = 0; i < eles.size(); i++){
   
   
            if (i == 0) continue;
            Element ele = eles.get(i);
            String ip = ele.children().get(1).text();
            int port = Integer.parseInt(ele.children().get(2).text().trim());
            String typeStr = ele.children().get(5).text().trim();

            int type;
            if ("HTTP".equalsIgnoreCase(typeStr))
                type = IPBean.TYPE_HTTP;
            else
                type = IPBean.TYPE_HTTPS;

            IPBean ipBean = new IPBean(ip, port, type);
            ipList.add(ipBean);
        }
        return ipList;