crawler4j使用初体验之酷房网房源爬取

最新推荐文章于 2024-10-21 16:16:08 发布

原创最新推荐文章于 2024-10-21 16:16:08 发布 · 627 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #爬虫 #开源 #框架

java 同时被 2 个专栏收录

10 篇文章

订阅专栏

爬虫

4 篇文章

订阅专栏

本文分享了使用crawler4j框架构建的一个爬虫demo实践，包括controller类与crawler类的具体实现，通过修改筛选规则和页面处理方法来抓取特定信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前几天学习了一个开源的java爬虫框架crawler4j，在摸索了一段时间后写了一个爬虫demo，特此记录分享，框架的搭建和方法的意义什么的就不详细说明了，网上有很多相关的教程可以看一下；

根据官方demo还是将爬虫分为两个类
一个controller类
一个crawler类
controller类我简单的修改了爬虫种子

  controller.addSeed("http://jinan.koofang.com/sale/c1/pg1");

crawler类的修改
修改了筛选规则

    private final static Pattern FILTERS = Pattern.compile(".*(\\.(css|js|"  
            + "|tiff?|mid|mp2|mp3|mp4" + "|wav|avi|mov|mpeg|ram|m4v|pdf"  
            + "|rm|smil|wmv|swf|wma|zip|rar|gz))$"); 

    /**
     * You should implement this function to specify whether the given url
     * should be crawled or not (based on your crawling logic).
     */
    @Override
    public boolean shouldVisit(Page referringPage, WebURL url) {
        String href = url.getURL().toLowerCase();

        if(FILTERS.matcher(href).matches()){
            return false;
        }
        if(href.contains("sale/c1/pg")){
            return true;
        }
        return false;
    }

修改了页面处理的方法

    public void visit(Page page) {
        String url = page.getWebURL().getURL();
        System.out.println(url);

        if (page.getParseData() instanceof HtmlParseData) {
            HtmlParseData htmlParseData = (HtmlParseData) page.getParseData();
            String text = htmlParseData.getText();
            String html = htmlParseData.getHtml();
            Set<WebURL> links = htmlParseData.getOutgoingUrls();
            Document doc = Jsoup.parse(html);
            Elements items = doc.getElementsByClass("miaoshu");
            for (Element item : items) {
                String name = item.select("#mh_area").text();
                String size1 = item.select("div > div.xiangxi_left > p.map_house > span:nth-child(2)").text();
                String size2 = item.select("div > div.xiangxi_left > p.map_house > span:nth-child(3)").text();
                String address = item.select("div > div.xiangxi_left > p:nth-child(4)").text();
                String cost = item.select("div > div.xiangxi_right > div.xiangxi_right_price_com > div.xiangxi_right_price.fl > span").text();
                String per = item.select("div > div.xiangxi_right > div.xiangxi_right_danjia").text();
                String link = item.select("#biaoti_a").attr("href");
                System.out.println(name+" "+size1+" "+size2+" "+address+" "+cost+"万元    "+per+"    "+link);
            }
        }
    }