【Java基础学习】正则表达式_getmathersubstrs-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_39009248/article/details/111305529

本文介绍如何使用Java的正则表达式来从网站源码中提取超链接。具体匹配模式为：(?<=<a href=")http.+?(?=")，该模式确保了链接前后有特定的HTML标签，并且链接以'http'开头，采用非贪婪匹配。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过正则表达式获取网站源码中的超链接
1、(?<=<a href=")http.+?(?=") 表示：搜索的字符串前面为**<a href=** 后面为**"**，字符串的开头是http，非贪婪模式

public class WebSpiderTest {
	
	/**
	 * 获得URL对应的网页的源码内容
	 * @param urlStr
	 * @return
	 */
	public static String  getURLContent(String urlStr,String charset) {
		StringBuilder sb=new StringBuilder();
		try {
			URL url = new URL(urlStr);
			BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream(),Charset.forName(charset)));
			String temp = "";
			while ((temp = reader.readLine()) != null) {
				sb.append(temp);
			}
		} catch (MalformedURLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		return sb.toString();
	}

	public static List<String> getMatherSubstrs(String destStr,String regexStr){
//		Pattern p=Pattern.compile("href=\"(http.+?)\""); //取到超链接地址 通过分组-java内部处理+正则表达式
//		Pattern p=Pattern.compile("(?<=<a href=\")http.+?(?=\")");//通过预搜索（0宽断言）-正则表达式：(?<=<a href=")http.+?(?=")
		List<String> result=new ArrayList<String>();
		Pattern p=Pattern.compile(regexStr);
		Matcher m=p.matcher(destStr);
		while(m.find()) {
			result.add(m.group(1));//通过预处理时，使用result.add(m.group());
		}
		
		return result;
	}
 	public static void main(String[] args) {
 		String destStr=getURLContent("https://www.163.com", "gbk");
 		List<String> list=getMatherSubstrs(destStr, "href=\"(http.+?)\"");
 		for(String str:list) {
 			System.out.println(str);
 		}
		
	}
}