用Java爬取网页

最新推荐文章于 2021-07-22 21:51:48 发布

原创最新推荐文章于 2021-07-22 21:51:48 发布 · 864 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬取网页 #java

JAVA 专栏收录该内容

4 篇文章

订阅专栏

本文对比分析了Python和Java在网页爬虫领域的使用体验，通过实际代码展示了如何使用Java实现网页爬取，并分享了运行结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前用python爬取网页了,现在我们在用Java来爬取网页,两者可以对比一下,个人感觉python语言简洁清新,比较好用.

public static void main(String[] args){    
    NodeList rt= getNodeList("http://www.ip138.com:8080/search.asp"); 
    System.out.println(rt.toHtml());
}   

public static NodeList getNodeList(String url){
    Parser parser = null;
    HtmlPage visitor = null;
    try {
        parser = new Parser(url);
            parser.setEncoding("UTF-8");
            visitor = new HtmlPage(parser);
            parser.visitAllNodesWith(visitor);
    } catch (ParserException e) {
            e.printStackTrace();
    }
    NodeList nodeList = visitor.getBody();
    return nodeList;
}