JSoup获取指定页面指定URL

本文介绍了一种使用Jsoup库从指定URL抓取网页元素的方法,特别是获取页面上的链接(href)和空白(blank)值。通过Java代码示例展示了如何连接到soku.com并提取搜索结果中的视频列表URL。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近在自学Jsoup,不多说,看代码吧,是指定URL,之后获取页面上相应的URL地址和blank值

最好的学习方法就是给自己找牛刀小试的机会,系统而理论的学习时间太长,还不一定玩的溜

配置我是用的maven,里边的包可用search maven来找到相应的dependency,或者你自己下

也是可以的,这都不是关键

import java.io.IOException;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

/**
 * Get URL.
 * 
 * @author Seven 2014.02.21
 */
public class Test {
public static void main(String[] args) {
// 根据soku的地址,获取视频中相应列表的URL和blank值
Document document = null;
try {
document = Jsoup
.connect(
"http://www.soku.com/v?keyword=%E5%8D%95%E6%81%8B%E5%8F%8C%E5%9F%8E")
.get();
} catch (IOException e) {
e.printStackTrace();
}
Element element = document.body();
Element ele = element.getElementsByClass("panel_15").get(0)
.getElementById("group1");
Elements s = ele.getElementsByTag("li");
for (int i = 0; i < s.size(); i++) {
String blank = s.get(i).childNode(0).childNode(0).toString();
System.out.print(s.get(i).childNode(0).attr("href"));
System.out.println("  blank=" + blank);
}
}
}

要使用Java编写基于HttpClient和Jsoup的爬虫,需要进行以下步骤: 1. 首先,导入HttpClient和Jsoup的依赖包。可以使用maven或gradle进行依赖管理。 2. 创建一个HttpClient实例,用于发送HTTP请求和接收响应。可以使用HttpClients.createDefault()方法创建一个默认配置的实例。 3. 创建一个HttpGet实例,设置请求URL请求头信息。可以使用new HttpGet(url)方法创建一个HttpGet实例,然后使用setHeader()方法设置请求头信息。 4. 发送HTTP请求,并获取响应结果。可以使用HttpClient.execute()方法发送请求,并使用HttpResponse.getEntity()方法获取响应实体。 5. 解析HTML内容。可以使用Jsoup.parse()方法解析HTML内容,然后使用Jsoup提供的API进行内容提取和处理。 以下是一个使用HttpClient和Jsoup进行网页爬取的示例代码: ```java import org.apache.http.HttpResponse; import org.apache.http.client.HttpClient; import org.apache.http.client.methods.HttpGet; import org.apache.http.impl.client.HttpClients; import org.apache.http.util.EntityUtils; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import java.io.IOException; public class WebCrawler { public static void main(String[] args) throws IOException { // 创建一个HttpClient实例 HttpClient httpClient = HttpClients.createDefault(); // 创建一个HttpGet实例,设置请求URL请求头信息 HttpGet httpGet = new HttpGet("https://www.example.com"); httpGet.setHeader("User-Agent", "Mozilla/5.0"); // 发送HTTP请求,并获取响应结果 HttpResponse httpResponse = httpClient.execute(httpGet); String html = EntityUtils.toString(httpResponse.getEntity(), "UTF-8"); // 解析HTML内容 Document document = Jsoup.parse(html); String title = document.title(); System.out.println("Title: " + title); } } ``` 在这个示例中,我们使用HttpClient发送了一个GET请求到https://www.example.com,并获取了响应结果。然后使用Jsoup解析HTML内容,并获取了网页的标题。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值