java实现简单爬取网址

最新推荐文章于 2024-05-30 18:25:03 发布

丶大东

最新推荐文章于 2024-05-30 18:25:03 发布

阅读量386

点赞数 3

CC 4.0 BY-SA版权

分类专栏： java开发文章标签： java 爬虫

本文链接：https://blog.youkuaiyun.com/weixin_42310890/article/details/81504292

java开发专栏收录该内容

11 篇文章

订阅专栏

本文介绍了一种使用Java实现的简单网络爬虫程序，通过解析HTML源码抓取页面中的URL链接，并将其保存到本地文件中。该爬虫能够从指定的网页开始，递归地抓取所有内部链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import java.io.*;
import java.net.*;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * java实现简单爬取网址
 */
public class Demo {
    public static void main(String[] args) {
        URL url = null;
        URLConnection urlconn = null;
        BufferedReader br = null;
        PrintWriter pw = null;
        String regex ="(http://|ftp://|https://|www.)([^\u4e00-\u9fa5\\s]+\\.)+[^\u4e00-\u9fa5\\s<>\\}\\]]+";
        Pattern p = Pattern.compile(regex);
        try {
            url = new URL("https://blog.youkuaiyun.com/Xiaolu_Yiren/article/details/74202634");//爬取的网址
            urlconn = url.openConnection();
            pw = new PrintWriter(new FileWriter("E:/学习文件/SiteURL.txt"), true);//将爬取到的链接放到目标文件中
            br = new BufferedReader(new InputStreamReader(
                    urlconn.getInputStream()));
            String buf = null;
            while ((buf = br.readLine()) != null) {
                Matcher buf_m = p.matcher(buf);
                while (buf_m.find()) {
                    pw.println(buf_m.group());
                }
            }
            System.out.println("爬取完成^_^");
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            try {
                br.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
            pw.close();
        }
    }
}