6行代码抓取网页

最新推荐文章于 2020-08-10 18:51:52 发布

最新推荐文章于 2020-08-10 18:51:52 发布 · 151 阅读

文章标签：

#java

java 专栏收录该内容

61 篇文章

订阅专栏

本文介绍了一种使用Apache Commons IO库简化网页抓取的方法，仅需六行代码即可完成网页内容的抓取并保存为文件。

前言：

网上有很多的抓取网页的代码，大部分是用的都是java api ，HttpClient,HttpURLConnection,io等等

新手看了是不是很晕呀？难道java抓个网页就这么费劲吗？

今天咱们利用apache commons io + 输出流重定向的方式6行解决网页抓取问题(当然其实可以是5行呵呵)

准备：

下载apache commons-io 传送门然后将这个jar加入到你的项目中

//天气预报网址
String url="http://www.weather.com.cn/weather/101030100.shtml";
//是用apache commons io 直接把页面抓成String
String htmlContent=IOUtils.toString(new URL(url));
//重定向输出流 到文件
PrintStream ps=new PrintStream(new File("D:/cxyapi.html"));
System.setOut(ps);
System.out.println(htmlContent); //这里的打印不在控制台，而是直接进入文件
ps.close();

声明：

1.原创文章，转载请标明并加本文连接。

2.文章反映个人愚见，如有异议欢迎讨论指正

3.更多的内容请看我的个人博客(测试版)