用正则表达式抓取网络连接的简单实现

最新推荐文章于 2021-08-14 12:12:45 发布

转载最新推荐文章于 2021-08-14 12:12:45 发布 · 368 阅读

文章标签：

#正则表达式 #网络 #string #null #class #.net

本文介绍了一个使用Java编写的简单网页链接抓取程序。该程序通过读取本地HTML文件并利用正则表达式匹配其中的HTTP链接。尽管能够实现基本的链接抓取功能，但在测试百度新闻首页时只能抓取部分链接。

public class FindHttp {
     private static int count = 0;//记录链接个数
    /**
     * @param args
     */
    public static void main(String[] args) {
        try {
            BufferedReader buf = new BufferedReader(new FileReader("http.htm"));
            String href = "";
            while ((href = buf.readLine()) != null) {

                findHref(href);
            }
        } catch (IOException ex) {
            Logger.getLogger(FindHttp.class.getName()).log(Level.SEVERE, null, ex);
        }
        System.out.println(count);
    }
  

    public static void findHref(String href) {
//        Pattern p = Pattern.compile("http://[a-zA-Z0-9]+.[a-zA-Z0-9]+.[a-zA-Z]+?[/.?[/S|/s]]+");
//        Pattern p = Pattern.compile("http://\\w{1,}.\\w{1,}.\\w{1,}");
//         Pattern p = Pattern.compile("http://[\\w{1,}.]+[/\\w{1,}]+");www.it165.net
       
        Pattern p = Pattern.compile("http://[\\w{1,}.]+[/[a-zA-Z0-9&?=-_.]]+(?=\")");

        Matcher m = p.matcher(href);

        while (m.find()) {
            count++;
            System.out.println(m.group());
        }

    }
}

说明：虽然能实现抓取连接的功能，但是也只是抓一部分，测试百度新闻首页的时候只抓取到217个连接，还有的没有抓到，自己能力有限，实在是实现不了了