[Java] 网页相对URL解析

最新推荐文章于 2024-07-06 02:51:58 发布

原创最新推荐文章于 2024-07-06 02:51:58 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#JAVA #爬虫 #URL #相对路径

JAVA 同时被 2 个专栏收录

2 篇文章

订阅专栏

爬虫

2 篇文章

订阅专栏

本文介绍了一种将网页中的相对URL转换为绝对URL的方法。通过解析网页源地址并结合相对路径规则，实现链接的有效转换。

在用爬虫解析页面的URL时，经常会碰到存在相对URL的情况，比如包含/、./和../的情况，需要做转换：

/**
     * 解析网页中的相对URL
     * @param link 网页中的链接，如href
     * @param sourceUrl 网页自身的URL
     * @return 转换后的URL
     */
    public static String convertLinkToUrl(String link, String sourceUrl) {
        String url = link;
        if (!link.matches("http://.*") && !link.matches("https://.*")) {
            // 截取原始URL中最后一个“/”之前的内容，
            int lastSeparatorIndex = sourceUrl.lastIndexOf("/");
            String thisUrl = sourceUrl;
            if(lastSeparatorIndex > 0) {
                thisUrl = sourceUrl.substring(0,lastSeparatorIndex);
            }

            // 处理相对路径
            while(link.startsWith("/") || link.startsWith(".")) {
                if(link.startsWith("./")) {
                    link = link.replace("./","");
                }
                if(link.startsWith("/")) {
                    link = link.replace("/","");
                }
                if(link.startsWith("../")) {
                    link = link.replace("../","");
                    lastSeparatorIndex = thisUrl.lastIndexOf("/");
                    if(lastSeparatorIndex > 0) {
                        thisUrl = sourceUrl.substring(0,lastSeparatorIndex);
                    }
                }
            }

            // 合成最终的绝对路径
            url = thisUrl + "/" + link;
        }

        return url;
    }