JSOUP org.jsoup.HttpStatusException HTTP error fetching URL. Status=403, URL=

最新推荐文章于 2021-02-25 14:46:15 发布
原创 最新推荐文章于 2021-02-25 14:46:15 发布 · 1.8k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文提供了一种解决JSoup爬虫在访问特定网站时遇到的HTTP 403错误的方法，即通过设置User-Agent来伪装爬虫请求，使其看起来更像常规浏览器访问。
部署运行你感兴趣的模型镜像

 

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL=http://xxxx.com/xxx/xxx/xxx.html

 

设置下userAgent，伪装成浏览器就可以了

 
Jsoup.connect("http://xxxx.com/xxx/xxx/xxx.html").userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31");

 

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

Jsoup 模拟jenkins登录 HTTP error fetching URL. Status=403, URL=https://jenkins.xxx:10012/jenkins/
隔壁老瓦的专栏
01-21 1315
err: org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL=https://jenkins.xxx:10012/jenkins/ at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:760) at ...
Jsoup异常org.jsoup.UnsupportedMimeTypeException: Unhandled content type的出现原因
扶摇的博客
04-20 1094
服务端并没有返回包含这几个类型的Content-Type值，所以需要进行设置。在网上看了好几篇文章讲的基本都是关于给Jsoup的Connection设置参数。但是没有人说为什么，下面记录一下。
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403
weixin_33724570的博客
05-17 1736
爬取网站的时候 conn = Jsoup.connect(url).timeout(5000).get();直接用get方法，有些网站可以正常爬取。 但是有些网站报403错误，403是一种在网站访问的过程中，常见的错误提示。表示资源不可用，服务器理解客户对的请求，但是拒绝处理它，通常由服务器上文件或者目录的权限设置导致的web访问错误。   解决方法无非就是从这几个角度：useragent,ref...
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403 爬取网站出现403错误
qqnbsp的博客
10-17 2万+
爬取网站的时候 conn = Jsoup.connect(url).timeout(5000).get();直接用get方法，有些网站可以正常爬取。 但是有些网站报403错误，403是一种在网站访问的过程中，常见的错误提示。表示资源不可用，服务器理解客户对的请求，但是拒绝处理它，通常由服务器上文件或者目录的权限设置导致的web访问错误。 解决方法无非就是从这几个角度：useragent
网络爬虫-HTTP error fetching URL. Status=403
weixin_30507481的博客
07-11 2860
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403, URL=http://xxxx.com/xxx/xxx/xxx.html （网络爬虫）解决办法： 设置下userAgent，伪装成浏览器就可以了Jsoup.connect("<span style="line-height: 1.5; font-size...
使用 org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403 无法获取页面错误. 为什么高手赐教!
04-06 1771
网上找到这个问题的答案多是,要模拟浏览器. 可是 有个网站我模拟了还是有错误? 为什么 String url="https://pixabay.com/videos/"; //通过 解析 xml 文本 // Connection conn = Jsoup.connect(url).timeout(5000); /...
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=500
最新发布
07-04
在使用 **Jsoup** 抓取网页时，如果遇到 `org.jsoup.HttpStatusException: HTTP error fetching URL. Status=500`，这表明目标服务器未能成功处理请求，而不是 Jsoup 客户端本身的问题[^2]。 #### 可能原因 - **...
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=530
07-04
在使用 Jsoup 抓取网页时，出现 `org.jsoup.HttpStatusException: HTTP error fetching URL. Status=530` 可能是由于以下几个方面： ### 请求头配置不当 某些网站对 User-Agent 或其他请求头字段有严格要求，如果未...
JSoup解析原网页获取Form Data和Query String Parameters
KI的博客
02-05 5万+
爬取过程中需要多次模拟查询，以获得后续操作需要的Form Data和Query String Parameters。
使用Jsoup爬网页出现500错误
springreef的博客
08-08 2604
Jsoup官方文档中说明爬取网页的两种方法：getDocument doc = Jsoup.connect("http://example.com/").get();postDocument doc = Jsoup.connect("http://example.com") .data("query", "Java") .userAgent("Mozilla") .cookie("aut
Jsoup报HTTP error fetching URL. Status=403, URL＝。。。
太匆匆
07-29 1万+
有些网站对这种访问会采取限制措施，所以需要将浏览器伪装成浏览器来访问网站。 代码如下：Jsoup.connect("http://v.ku6.com/show/FT4oJ3DNgAatXPdUuC2QWA...html") .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko)
记录报错：Jsoup爬虫 [Torg.jsoup.HttpStatusException: HTTP error fetching URL. Status=500,,URL=http://xxx
薛定谔的坤。
07-18 2537
控制台信息如下： org.jsoup.HttpStatusException: HTTP error fetching URL. Status=500, URL=“http://XXXXXX/xxxxx/xxxxxxx/index.jhtml” at org.jsoup.helper.HttpConnection $ Response.execute(HttpConnection.java:679...
Exception in thread “main“ org.jsoup.HttpStatusException: HTTP error fetching URL. Status=422, URL=
热门推荐
KI的博客
08-22 9万+
Form Data中的authenticity_token是动态变化的。
org.jsoup.HttpStatusException: HTTP error fetching URL. Status=544, URL=
荷塘月色
09-30 6854
添加用户代理，伪装成浏览器，解决问题。
java jsoup解析url,Java JSoup错误提取URL
weixin_35796523的博客
02-16 354
I'm creating an application which will enable me to fetch values from a specific website to the console. The value is from a element and I'm using JSoup.My challenge has to do with this error:Error f...
java503错误是什么_java - 使用Jsoup访问HTML但收到错误代码503
weixin_30750081的博客
02-25 682
我一直在尝试访问KissAnime，但是我一直收到此错误:org.jsoup.HttpStatusException:提取URL时发生HTTP错误。状态= 503当我尝试另一个URL例如。 https://www.google.com/，它可以完美运行。这是我的asynctask代码:@Overrideprotected Void doInBackground(Void... params) {t...
Jsoup 发送post请求 org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=https:
IT菜鸟报道的博客
12-05 1万+
在使用Jsoup 发从post 请求的 时候，需要携带很多参数！ 这次遇到忘了将页面form 标签下隐藏的数据带过去导致 404   org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=****** at org.jsoup.helper.HttpConnection$Response.execut...
jsoup post方式请求接口错误“HTTP error fetching URL. Status=400”解决方法
wh445306
01-17 1万+
Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=400, URL=“xxxxxxx” 折腾了很久才找到解决方法： .ignoreContentType(true) .ignoreHttpErrors(true) 添加上面两个属性问题解决！get()的时候一般不会有问题，但是如果你是post方式提交数据到接口，报错的概率相当高，建议 不管是post,还是get，均开
jsoup 403 错误原因 及 总结
huaishuming的专栏
11-12 8754
参考网址 ：中文http://www.open-open.com/jsoup/ 官方：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值