Java获取网页下超链接并保存

最新推荐文章于 2022-08-31 14:03:04 发布

张林濮

最新推荐文章于 2022-08-31 14:03:04 发布

阅读量2.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Java

本文链接：https://blog.youkuaiyun.com/Ramer42/article/details/83443688

本文介绍如何使用Java编程实现一个简单的爬虫，该爬虫从输入的起始URL开始，抓取页面上的超链接，并仅下载一级页面。主要依赖Pattern类和正则表达式来匹配和提取HTML中的链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 把本程序改造为一个输入一个起始URL及其参数之后就可以下载此URL及其参数所指定的WEB页面以及此WEB页面中HTML语言超级链接所指向的所有WEB页面（只下载一级即可）。
主要需要利用Pattern类方法和正则表达式来获取超链接

import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

class HtmlParser1 {
   
   
    String htmlUrl;
    ArrayList<String> hrefList = new ArrayList();
    String charSet;

    public HtmlParser1(String htmlUrl) {
   
   
        // TODO 自动生成的构造函数存根
        this.htmlUrl = htmlUrl;
    }

    public ArrayList<String> parser() throws IOException {
   
     //获得该网页下的超链接
        URL url = new URL(htmlUrl);           //创建URL对象，建立连接
        HttpURLConnection connection = (HttpURLConnection) url.openConnection();
        connection.setDoOutput(true);
        String contenttype = connection.getContentType