21.5网络编程--爬虫原理

最新推荐文章于 2026-01-04 21:16:27 发布

原创最新推荐文章于 2026-01-04 21:16:27 发布 · 206 阅读

0 ·

CC 4.0 BY-SA版权

java 专栏收录该内容

64 篇文章

订阅专栏

网络爬虫是自动获取网页内容的程序，也是搜索引擎重要组成部分。其实现过程包括获取URL、下载数据、用正则表达式进行数据分析、抽取数据、清除数据以及存储数据等步骤。

网络爬虫是一种自动获取网页内容的程序，是搜索引擎的重要组成部分
实现过程主要分为以下几部分:

有一个URL(理论上只要对方同意,可以下载任意网络资源)
下载数据
数据分析(会通过正则表达式)
数据抽取
数据清除
数据存储

package study;

import java.io.BufferedReader;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;

public class Exercise {

	public static void main(String[] args) throws Exception {
//爬虫获取网络资源的基本步骤(前两步)
		URL u=new URL("https://www.jd.com");
		//https可以看出http的升级版,更安全,现在大部分用这个
		InputStream i=u.openStream();
		BufferedReader b=new BufferedReader(new InputStreamReader(i, "UTF-8"));//下载资源也是通过数据流
		String s=null;
		while(null!=(s=b.readLine())) {
			System.out.println(s);//可写到文件中去
		}

	}

}