通过URL实现最简单的网络爬虫

最新推荐文章于 2024-11-28 10:07:58 发布

原创最新推荐文章于 2024-11-28 10:07:58 发布 · 281 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #java #jvm

java网络编程的学习专栏收录该内容

15 篇文章

订阅专栏

这段代码展示了如何利用Java的IO流和BufferedReader从URL读取网页内容。程序创建一个URL对象，打开连接，然后通过BufferedReader逐行读取并拼接网页文本，最后打印出来。

这部分直接写代码了，还用到以前学的文件流io流的知识，代码如下，小伙伴们可以拿去演示一波

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;

public class UrlTest2 {
    public static void main(String[] args)throws Exception {
        URL url = new URL("https://www.youkuaiyun.com/?spm=1001.2101.3001.4476");
        try (BufferedReader br = new BufferedReader(new InputStreamReader(url.openStream()))){
            StringBuilder sb = new StringBuilder();
            String temp = "";
            while ((temp = br.readLine())!=null){
                sb.append(temp);
            }
            System.out.println(sb);
        }catch (Exception e){
            e.printStackTrace();
        }
    }
}