爬取京东评论、分词+词频统计、词云图展示

最新推荐文章于 2024-09-13 08:19:23 发布

dejing6575

最新推荐文章于 2024-09-13 08:19:23 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 python java

原文链接：http://www.cnblogs.com/weiyinfu/p/7089114.html

本文介绍了如何爬取京东评论，并使用结巴分词进行文本处理，接着利用d3.js和d3-cloud.js生成词云图，展示了从Python的jieba分词到Java的jieba-analysis的转换过程，以及词云图的复杂实现技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、爬取京东评论

京东评论竟然全部对外开放

public class CommentCrawler {
    final static PoolingHttpClientConnectionManager httpClientConnectionManager = new PoolingHttpClientConnectionManager();
    final static int MAX_PAGE = 50;

    static HttpClient getClient() {
        return HttpClients.custom().setConnectionManager(httpClientConnectionManager).build();
    }

    static String getUrl(String productId, int page) {
        return String.format(
                "http://sclub.jd.com/comment/productPageComments.action?productId=%s&score=0&sortType=3&page=%d&pageSize=10",
                productId, page);
    }

    static Comment commentFromJson(JSONObject json, String productId) {
        return new Comment(json.getLongValue("id"), productId, json.getString("score"), json.getString("content"));
    }

    public static boolean crawlComments(Stri