jsoup 默认抓取页面大小为1M

最新推荐文章于 2022-03-04 20:14:10 发布

原创最新推荐文章于 2022-03-04 20:14:10 发布 · 434 阅读

0 ·

CC 4.0 BY-SA版权

jsoup 专栏收录该内容

0 篇文章

订阅专栏

本文讨论了HTTP请求中页面大小限制的问题，详细解释了`maxBodySizeConnection`参数的作用及其默认值为1MB的原因。通过实例分析，帮助开发者理解如何调整此设置以解决页面抓取过程中遇到的问题。

抓一个 2000KB左右的页面，老是抓一半，一开始以为是网络问题，然后以为是连接断了，最后实在没办法去读文档才发现原来默认最多是1MB。

[quote]maxBodySize

Connection maxBodySize(int bytes)
Set the maximum bytes to read from the (uncompressed) connection into the body, before the connection is closed, and the input truncated.[color=red] The default maximum is 1MB[/color]. A max size of zero is treated as an infinite amount (bounded only by your patience and the memory available on your machine).
Parameters:
bytes - number of bytes to read from the input before truncating
Returns:
this Connection, for chaining[/quote]

希望google到我这的不要再去查了，我查了大约一小时。