Craw 第一个很简单的爬虫

最新推荐文章于 2024-11-18 21:55:32 发布

Mr_zhang_p_j

最新推荐文章于 2024-11-18 21:55:32 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Craw

本文链接：https://blog.youkuaiyun.com/qq_28534619/article/details/77832961

Craw 专栏收录该内容

1 篇文章

订阅专栏

本文展示了一个简单的Java程序示例，该程序使用HttpURLConnection从指定URL获取网页内容，并将其保存到本地文件中。程序首先打开与URL的连接，检查响应状态码是否为200以确保请求成功，然后读取输入流并将数据写入到指定路径下的文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

package com.craw.start;


import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.HttpURLConnection;
import java.net.URL;


public class CrawStart {

public static void main(String[] args) throws IOException {
URL url = new URL("http://www.baidu.com");
String parentFile = "E:\\craw";
HttpURLConnection httpURLConnection = (HttpURLConnection) url.openConnection();
int statusCode = httpURLConnection.getResponseCode();

InputStream inputStream = httpURLConnection.getInputStream();
OutputStream outputStream = null;

byte[] bytes = new byte[1024];
if(statusCode == 200) { 
File file = new File(parentFile,url.getRef()+".html");
if(!file.exists()) {
file.createNewFile();
}  
int length = 0;
outputStream = new FileOutputStream(file);
while((length = inputStream.read(bytes)) != -1) {
outputStream.write(bytes, 0, length);
String context = new String (bytes,"UTF-8");
System.out.println(context);

}
outputStream.close();


}
}
}