Java使用正则表达式爬取网站全部连接

本文介绍了一种使用Java实现的网络爬虫技术,通过解析网页源码并利用正则表达式匹配,成功抓取了网易新闻网站上的多个链接。此爬虫能够处理URL,并从指定网站中抽取特定格式的超链接。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

package Regex;

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 网络爬虫取连接然后逐个取出
 * @param args
 */

public class WebSpiderTest {
	
	/**
	 * 获得urlStr对应的网页的源码内容
	 * @param urlStr
	 * @return
	 */
	public static String getURLContent(String urlStr, String charset) {
		StringBuilder sb = new StringBuilder();
		try {
			URL url = new URL(urlStr);
			//url.openStream()打开一个输入流
			BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream(), Charset.forName(charset)));
			String temp = "";
			while((temp = reader.readLine()) != null) {
				sb.append(temp);
//				System.out.println(temp);//打印输入网站源码
			}
		} catch (Exception e) {
			e.printStackTrace();
		}
		return sb.toString();
	}

	public static List<String> getMatherSubstrs(String destStr, String regexStr) {
//		Pattern p = Pattern.compile("<a[\\s\\S]+?</a>"); //取到所有超链接的a标签里的所有内容
		Pattern p = Pattern.compile(regexStr);	//取到超链接的地址
		Matcher m = p.matcher(destStr);
		List<String> result = new ArrayList<String>();
		while(m.find()) {
			result.add(m.group(1));
		}
		return result;
	}
	public static void main(String[] args) {
		String destStr = getURLContent("https://www.163.com/", "gbk");
		
		List<String> result = getMatherSubstrs(destStr, "href=\"([\\w\\s./:]+?)\"");
		for(String temp : result) {
			System.out.println(temp);
		}

				
	}

}

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

金州饿霸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值