文章介绍了如何使用Jsoup这个JavaHTML解析库在Kotlin中抓取网页数据，特别是针对Billboard的排行榜数据。通过Jsoup的connect和get方法获取Document对象，然后利用DOM、CSS选择器提取信息。文章提到了Jsoup的局限性，对于动态加载的内容可能无法完全获取，并建议通过接口和分析网络请求来获取更全面的数据。此外，还分享了使用Postman测试接口和构建网络请求的过程。
1.Jsoup
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
需求是需要获取某个网站上的排行榜数据，用作App展示，所以就想到了Jsoup框架。
我看网上其实有很多的Jsoup博客，讲的挺好的，但是有些许差异，有的也将错了，我还是推荐去官网学习，内容很少，也很简便：
Load a Document from a URL: jsoup Java HTML parser
里面讲了如何从html文件，url地址，file加载内容，也讲了通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据，很详细也写的挺简单的，是全英文，看不太懂可以装个翻译插件，或者google浏览器翻个墙，他自己就给你翻译了。
这里我就不详细展开了，很多很杂但也很基础，讲个例子吧：比如获取2022年billboard榜单的前100位歌手数据（排名，封面，名字）
最低0.47元/天 解锁文章
扫一扫
7743
到【灌水乐园】发言
