Jsoup通过代理访问url地址

最新推荐文章于 2025-06-01 12:58:03 发布

原创

最新推荐文章于 2025-06-01 12:58:03 发布 · 3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#代理 #jsoup #407

本文介绍如何在Java中利用Jsoup库通过HTTP代理进行网页抓取。主要解决在抓取过程中遇到的407 Proxy Authentication Required错误，讨论配置代理设置以及可能的认证问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.***;

import org.apache.commons.lang3.StringUtils;
import org.jsoup.Connection;
import org.jsoup.Jsoup;

import java.io.IOException;
import java.net.Authenticator;
import java.net.InetSocketAddress;
import java.net.PasswordAuthentication;
import java.net.Proxy;

/**
 * 信息获取
 */
public class JsoupUtils {
    /**
     * 通过代理访问信息
     * @param url 请求地址  带参数
     * @param proxyHost 代理ip
     * @param port 代理端口
     * @param loginUser 代理用户名
     * @param pwd 代理密码
     * @return
     */
    public static String getSimMessageWithProxy(String url,String proxyHost,int port,String loginUser,String pwd){
        try {
            //是否需要身份认证
            if(StringUtils.isNotBlank(loginUser)){
                MyAuthenticator.setDefault(new MyAuthenticator(loginUser,pwd));
            }
            Proxy proxy = new Proxy(Proxy.Type.HTTP, new InetSocketAddress(proxyHost, port));
            Connection.Response response =   Jsoup.connect(url).proxy(proxy).execute();