26、通过DRPC和Trident实现数据统计查询与拓扑优化

y9z0a1b

于 2025-12-01 11:42:02 发布

阅读量15

点赞数

CC 4.0 BY-SA版权

分类专栏： Storm实战精髓解析文章标签： DRPC Trident Storm

本文链接：https://blog.youkuaiyun.com/y9z0a1b/article/details/155477051

Storm实战精髓解析专栏收录该内容

27 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

通过DRPC和Trident实现数据统计查询与拓扑优化

1. 通过DRPC访问持久化统计数据

在处理数据时，我们已经得到了按艺术家、标题和标签统计的内存计数。为了能查询这些状态对象以构建所需的报告，我们将使用Storm的分布式远程过程调用（DRPC）功能。

以下是按标题和标签统计的代码示例：

TridentState countsByArtist = 
    playStream
    .project(new Fields("title"))
    .groupBy(new Fields("title"))
    .persistentAggregate(new MemoryMapState.Factory(), 
                         new Count(), 
                         new Fields("title-count"));     

TridentState countsByTag = 
    playStream
    .each(new Fields("tags"),
          new ListSplitter(),
          new Fields("tag"))
    .project(new Fields("tag"))
    .groupBy(new Fields("tag"))
    .persistentAggregate(new MemoryMapState.Factory(), 
                         new Count(),