java 爬取网页页面内容

最新推荐文章于 2025-07-11 11:53:51 发布

原创最新推荐文章于 2025-07-11 11:53:51 发布 · 748 阅读

1 ·

CC 4.0 BY-SA版权

该博客介绍了如何使用Java实现简单的网页爬虫，通过创建URL对象，打开连接，检查响应代码，然后读取并打印网页内容。示例代码展示了从新浪网获取源代码的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

根据请求URL 指定要爬取的页面

再通过相应请求为200（请求相应成功）进行下一步操作

通过IO操作将页面输出

上源码：

package com.fussent.test;
import java.io.BufferedReader;

import java.io.InputStreamReader;

import java.net.HttpURLConnection;

import java.net.URL;

   public class WebPathSource {

        public static void main(String args[]){

            URL url;

            int responsecode;

            HttpURLConnection urlConnection;

            BufferedReader reader;

            String line;

            try{

                //生成一个URL对象，要获取源代码的网页地址为：http://www.sina.com.cn

                url=new URL("http://www.sina.com.cn");

                //打开URL

                urlConnection = (HttpURLConnection)url.openConnection();

                //获取服务器响应代码

                responsecode=urlConnection.getResponseCode();

                if(responsecode==200){

                    //得到输入流，即获得了网页的内容

                    reader=new BufferedReader(new InputStreamReader(urlConnection.getInputStream(),"utf-8"));

                    while((line=reader.readLine())!=null){

                        System.out.println(line);

                    }

                }

                else{

                    System.out.println("获取不到网页的源码，服务器响应代码为："+responsecode);

                }

            }

            catch(Exception e){

                System.out.println("获取不到网页的源码,出现异常："+e);

            }

        }

   }