抽取网页信息

 

public  List < String[] >  extractItems(String url, String encoding, String gp,
            String itp)  throws  MalformedURLException,
            UnsupportedEncodingException, IOException  ... {
        gp = sanifyPattern(gp);
        itp = sanifyPattern(itp);

        Pattern globalPattern = Pattern.compile(gp, Pattern.CASE_INSENSITIVE
                | Pattern.DOTALL | Pattern.UNIX_LINES);
        Pattern itemPattern = Pattern.compile(itp, Pattern.CASE_INSENSITIVE
                | Pattern.DOTALL | Pattern.UNIX_LINES);

        String html = source(url, encoding);
        Matcher matcher = globalPattern.matcher(html);
        List<String[]> items = new ArrayList<String[]>();
        if (matcher != null && matcher.find()) ...{
            String global = matcher.group(1);
            Matcher itm = itemPattern.matcher(global);
            while (itm != null && itm.find()) ...{
                List<String> groups = new ArrayList<String>();
                for (int i = 1; i <= itm.groupCount(); i++) ...{
                    groups.add(itm.group(i));
                }
                items.add(groups.toArray(new String[groups.size()]));
            }
        }
        return items;
    }

 

   为了使得方便的抽取网页中的某些信息，采用JAVA里面的正则表达式写了一个可以抽取其中网页一些信息，并通过dom4j写为XML的程序。实现了对新闻，MP3等比较固定的网页模版的信息抽取工作。

          一个全局的pattern选出有用信息块，然后通过itermpattern，重复的抽取网页中的信息单位。并将这些提取出来的items写成一个XML文件。 写dom4j的程序：

public  String asXml(String fmt)  ... {
        Document doc = DocumentHelper.createDocument();
        // <list>
        Element root = doc.addElement("list");
        List<Song> songs = getSongs();
        for (Song song : songs) ...{
            Element element = DocumentHelper.createElement("song");
            element.addElement("title").setText(song.getTitle());
            element.addElement("album").setText(song.getAlbum());
            element.addElement("singer").setText(song.getSinger());
            element.addElement("link").setText(song.getLink());
            element.addElement("source").setText(song.getSource());
            element.addElement("format").setText(song.getFormat());
            element.addElement("megabyte").setText(
                    String.valueOf(song.getMegabyte()));
            element.addElement("speed")
                    .setText(String.valueOf(song.getSpeed()));
            root.add(element);
        }
        root.addAttribute("total", String.valueOf(songs.size()));
        return doc.asXML();
    }