java 采集网页数据 demo

最新推荐文章于 2025-11-28 08:45:01 发布

原创最新推荐文章于 2025-11-28 08:45:01 发布 · 720 阅读

0 ·

CC 4.0 BY-SA版权

java教程专栏收录该内容

8 篇文章

订阅专栏

本文展示了一个使用Java进行网页数据抓取的例子。通过访问指定URL，解析HTML内容，并提取了列表项中的链接、图片源及文字描述等信息。

import java.net.URL;
import java.net.URLConnection;
import java.util.List;

import net.htmlparser.jericho.Element;
import net.htmlparser.jericho.Source;

public class Demo1 {

    /**
     * @param args
     */
    public static void main(String[] args) throws Exception {
        //URL url = new URL("http://www.jkshuo.me");
        
        URL url = new URL("http://www.jkshuo.me/plus/arcloadmore.php?typeid=1&page=4&pagesize=3");
        URLConnection conn = url.openConnection();
        Source source = new Source(conn);

        List<Element> liElements = source.getAllElements("li");
        for(Element liElement : liElements){
            List<Element> childrenlists = liElement.getChildElements();
            if(childrenlists.size() == 3){
                if(childrenlists.get(0).getAttributeValue("class") != null && "container_img".equals(childrenlists.get(0).getAttributeValue("class"))){
                    List<Element>  aElementList = childrenlists.get(0).getChildElements();
                    System.out.println("href:" + aElementList.get(0).getAttributeValue("href"));
                    System.out.println("img href:" + aElementList.get(0).getChildElements().get(0).getAttributeValue("src"));
                }
                System.out.print("title:" + childrenlists.get(1).getTextExtractor() +"\n");
                System.out.print("description:" + childrenlists.get(2).getTextExtractor() +"\n");
            }
            
        }

    }

}

以上代码 就是根据链接 采集网页的数据,  封装成数据集合.