JSP“抓”网页代码的程序

本文介绍了一个使用JSP实现的网页抓取程序示例。该程序通过HTTP请求获取指定网页的内容,并将整个HTML源代码输出。此方法可用于构建简单的网络爬虫,实现网页搜索功能。
JSP“抓”网页代码的程序如下:
java 代码
  1. <%@ page contentType="text/html;charset=gb2312"%>    
  2. <%    
  3. String sCurrentLine;    
  4. String sTotalString;    
  5. sCurrentLine="";    
  6. sTotalString="";    
  7. java.io.InputStream l_urlStream;    
  8. java.net.URL l_url = new java.net.URL("http://www.163.net/");    
  9. java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();   
  10. l_connection.connect();    
  11. l_urlStream = l_connection.getInputStream();    
  12. java.io.BufferedReader l_reader = new java.io.BufferedReader(new java.io.InputStreamReader(l_urlStream));    
  13. while ((sCurrentLine = l_reader.readLine()) != null)    
  14. {    
  15. sTotalString+=sCurrentLine;    
  16. }    
  17. out.println(sTotalString);    
  18. %>    

后记

  虽然代码比较简单,但是,我认为根据这个,可以实现“网络爬虫”的功能,比如从页面找href连接,然后再得到那个连接,然后再“抓”,不停止地(当然可以限定层数),这样,可以实现“网页搜索”功能。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值