手写网络爬虫获取网页源代码

程序员云帆哥

已于 2022-05-10 15:35:04 修改

阅读量1.1k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： Java学习笔记文章标签：网络爬虫大数据

于 2018-07-29 20:17:26 首次发布

本文链接：https://blog.youkuaiyun.com/sinat_27933301/article/details/81274891

Java学习笔记专栏收录该内容

71 篇文章

订阅专栏

本文介绍了一个简单的Java程序，该程序能够从指定的URL抓取网页源代码，并将其保存到本地文件中。程序首先通过URL获取网页内容，然后使用BufferedReader逐行读取并拼接成完整的HTML字符串，最后将此字符串保存为UTF-8编码的文本文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import java.io.*;
import java.net.*;

public class BigData {
	
	/**
	 * 通过url地址获取网页源代码
	 * 
	 * */
	public static String getHtmlResource(String url, String encoding){
		StringBuffer sb=new StringBuffer();
		try {
			URL urlObj = new URL(url);
			URLConnection uc = urlObj.openConnection();
			InputStreamReader isr = new InputStreamReader(uc.getInputStream(), encoding);
			BufferedReader br = new BufferedReader(isr);
			String temp = null;
			while((temp=br.readLine()) != null){
				sb.append(temp);
			}
		} catch (MalformedURLException e) {
			e.printStackTrace();
			System.out.println("网络不通！");
		} catch (IOException e) {
			e.printStackTrace();
			System.out.println("网络连接异常！");
		}
		return sb.toString();
	}
	
	/**
	 * 写文件
	 * 
	 * */
	public static void writeFile(String content, String filePath){
		PrintWriter pw = null;
		try {
			File file = new File(filePath);
			pw = new PrintWriter(new OutputStreamWriter(new FileOutputStream(file), "UTF-8"));
			pw.print(content);
			pw.flush();
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		} catch (FileNotFoundException e) {
			e.printStackTrace();
		} finally{
			if(pw != null){
				pw.close();
			}
		}
	}
	
	public static void main(String[] args) {
		String content = getHtmlResource("https://www.taobao.com", "UTF-8");
		writeFile(content, "D:\\bigdata.txt");
	}
}