利用Jsoup包爬取网站内容

最新推荐文章于 2025-08-11 20:54:36 发布

weixin_30914981

最新推荐文章于 2025-08-11 20:54:36 发布

阅读量63

点赞数

CC 4.0 BY-SA版权

文章标签： java

原文链接：http://www.cnblogs.com/echoty/p/6734593.html

本文介绍了一种使用Java库Jsoup爬取搜狐新闻网站的方法。通过解析网页源码，实现了对新闻标题、发布时间及内容等信息的有效抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一 Jsoup包

　　下载链接：http://download.youkuaiyun.com/detail/u014000832/7994245

二爬取搜狐新闻网站标题等内容

package com.test1;  
import java.io.IOException;  
import org.jsoup.*;  
import org.jsoup.helper.*;  
import org.jsoup.nodes.*;  
import org.jsoup.parser.*;  
import org.jsoup.select.*;  
public class HtmlParser {  
    static void print(Document doc){  
  
        //<h1 itemprop="headline">日本物流公司瞄准中国海淘族 跨境快递4天到货</h1>  
                Elements h = doc.select("h1[itemprop]");//标题  
                System.out.println(h.text());  
                  
                Elements time = doc.select("div.time");//时间    
                System.out.println(time.text());  
                /* 
                Element source = doc.select("span[itemprop=name]").first();//来源 
                System.out.println(source.text()); 
                */  
  
                Elements source = doc.select("div[class=source]");  
                System.out.println(source.text());  
                  
                Elements body = doc.select("div[itemprop=articleBody]");  
                System.out.println(body.text());  
      
    }  
    public static void main(String[] args) {  
        // TODO Auto-generated method stub  
          
        try {  
            String url = "http://news.sohu.com/";  
            Document doc,TempDoc;  
            doc = Jsoup.connect(url).get();  
            //System.out.println(doc);  
            //findalllinks  
            Elements links = doc.select("a[href]");  
            for (Element link : links){  
                String StrUrl = link.attr("abs:href");  
                if (StrUrl.startsWith("http://news.sohu.com/2016"))  
                {  
                    System.out.println(StrUrl);  
                    TempDoc = Jsoup.connect(StrUrl).get();  
                    print(TempDoc);  
                }  
            }    
        } catch (IOException e) {  
            // TODO Auto-generated catch block  
            e.printStackTrace();  
        }    
    }  
}

　原文：http://blog.youkuaiyun.com/u012315428/article/details/51136490 , 复制链接打开

转载于:https://www.cnblogs.com/echoty/p/6734593.html