网页抓取

最新推荐文章于 2025-08-15 22:56:20 发布

凯子王导

最新推荐文章于 2025-08-15 22:56:20 发布

阅读量390

点赞数

分类专栏： java 文章标签： java

java 专栏收录该内容

41 篇文章

订阅专栏

本文详细介绍了如何使用Java编程语言通过URL获取网页内容，并将其保存为本地HTML文件的过程。通过创建HttpURLConnection对象，实现与目标网站的连接，利用InputStream读取网页内容，然后使用FileWriter将数据写入指定文件路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.io.PrintWriter;

public class Test {
private static String getStaticPage(String surl) {
String htmlContent = "";
try {
java.io.InputStream inputStream;
java.net.URL url = new java.net.URL(surl);
java.net.HttpURLConnection connection = (java.net.HttpURLConnection) url.openConnection();
connection.connect();
inputStream = connection.getInputStream();
byte[] bytes = new byte[1024 * 2000];
int index = 0;
int count = inputStream.read(bytes, index, 1024 * 2000);
while (count != -1) {
index += count;
count = inputStream.read(bytes, index, 1);
}
htmlContent = new String(bytes, "UTF-8");
connection.disconnect();
} catch (Exception ex) {
ex.printStackTrace();
}
return htmlContent.trim();
}

public static void main(String[] args) {
try {
String src = getStaticPage("http://www.baidu.com");
File file = new File("D:\\data\\aa.html");
FileWriter resultFile = new FileWriter(file);
PrintWriter myFile = new PrintWriter(resultFile);// 写文件
myFile.println(src);
resultFile.close();
myFile.close();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}