java爬虫(Jsoup)爬取某新闻站点标题

本文介绍如何利用Java库Jsoup抓取指定网站的文章标题,并提供了完整的代码示例。通过连接到目标网址并解析HTML文档,能够有效地提取出所需的信息。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

需要一个包:jsoup-1.7.3.jar
有一定的java和js基础的人,一看就懂了!
一个不错的Jsoup中文文档下载地址http://download.youkuaiyun.com/detail/apache2011/4517327


import java.io.IOException;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class JsoupTest {

    /**
     * @param args
     * @throws Exception 
     */
    public static void main(String[] args) throws Exception {
        getWuMaoW();
    }


    //获取5毛网上的文章标题
    public static void getWuMaoW(){
        String url = "http://www.wumaow.com";
        Document doc = null;
        try {
            doc = Jsoup.connect(url).get();
            Elements listDiv = doc.getElementsByAttributeValue("class", "post");
            for(Element element : listDiv){
                Elements texts = element.getElementsByTag("h4");
                for(Element text:texts){
                    String ptext = text.text();
                    System.out.println("标题:"+ptext);
                }
            }
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
}

2016-6-8 下午5点,五毛网的第一页新闻的标题如下:
这里写图片描述


下一遍 抓评论
地址:http://blog.youkuaiyun.com/disiwei1012/article/details/51678977

### Java 爬虫 HTTPS URL 数据抓取方法 对于HTTPS网站的数据抓取,在Java中有多种方式可以实现。利用`HttpClient`库能够方便地处理HTTP(S)请求并获取网页内容[^2]。 当涉及到具体操作时,下面是一个基于`HttpClient`发送带有SSL支持的GET请求的例子: ```java import org.apache.http.HttpResponse; import org.apache.http.client.methods.CloseableHttpResponse; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.CloseableHttpClient; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; public class HttpsCrawlerExample { public static void main(String[] args) throws Exception { try (CloseableHttpClient httpClient = HttpClients.createDefault()) { HttpGet request = new HttpGet("https://example.com"); // 执行请求 try (CloseableHttpResponse response = httpClient.execute(request)) { String content = EntityUtils.toString(response.getEntity()); System.out.println(content); } } } } ``` 此代码片段展示了如何创建一个简单的客户端实例并通过它执行针对指定URL(本例中为`https://example.com`)的安全连接请求。值得注意的是,默认情况下Apache HttpClient会自动处理大部分常见的SSL/TLS配置细节。 如果需要更复杂的设置或者自定义信任管理器,则可能还需要额外导入其他类来进行相应的调整。另外一种常用的工具是`Jsoup`,它可以用于发起带超时控制的HTTPS请求,并返回解析后的HTML文档对象以便进一步分析[^3]。 例如,使用`Jsoup`进行HTTPS访问如下所示: ```java Document doc = Jsoup.connect("https://example.com").timeout(5000).get(); System.out.println(doc.title()); ``` 这段代码同样实现了向目标站点发出安全链接请求的功能,同时还包含了基本错误处理机制以及设置了最大等待时间为五秒以防止长时间无响应的情况发生。 #### 安全注意事项 在实际开发过程中应当注意保护用户的隐私信息不被泄露给第三方服务器;同时也要遵循各网站的服务条款,合理合法地开展自动化数据采集活动。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值