jsoup抓取网页报错UnsupportedMimeTypeException

解决Jsoup抓取评论异常

最新推荐文章于 2022-04-25 13:28:21 发布

原创最新推荐文章于 2022-04-25 13:28:21 发布 · 5.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#UnsupportedMimeTypeE

Java 同时被 2 个专栏收录

39 篇文章

订阅专栏

数据抓取/爬虫

7 篇文章

订阅专栏

本文介绍了解决使用Jsoup抓取腾讯新闻评论时遇到的UnsupportedMimeTypeException异常的方法。通过调整Jsoup的连接设置来忽略不可处理的内容类型，成功实现了评论数据的抓取。

在抓腾讯新闻评论时出现如下异常
org.jsoup.UnsupportedMimeTypeException: Unhandled content type. Must be text/*, application/xml, or application/xhtml+xml. 
Mimetype=application/javascript; charset=utf-8, url=http://....

解决办法：将Document commentDoc =  Jsoup.connect(commentUrl).get();改成Document commentDoc =  Jsoup.connect(commentUrl).ignoreContentType(true).get();