qq_32825915的博客

本文将采用 Spark SQL 整合 Hive 进行计算区块链上数据 买入总量，买入总额，卖出总量，卖出总额 等指标

本文将通过使用 Spark + Hive 实现逐笔计算用户盈亏的需求。由于我们是进行离线计算，所以我们的数据源是 Hive 表数据，Sink 表也是Hive表，即 Spark 读取 Hive 表数据进行批计算之后写回到Hive 表并供后续使用。通过本文你将会学到：如何使用 Spark SQL API 读取 Hive 数据源如何通过读取配置文件进行传参执行 SQL如何将 Spark SQL 转换为 JavaRDD 进行处理如何进行用户 keyBy 分组。

要实现一个实时热门合约基本需求每隔 5 分钟输出最近一小时交易量最多的前N个合约过滤出属于合约的交易数量解决思路抽取出业务时间戳，告诉 Flink 框架基于业务时间做窗口在所有交易行为数据中，过滤出合约行为进行统计构建滑动窗口，窗口长度为1小时，滑动距离为 5 分钟将KeyedStream中的元素存储到ListState中，当水位线超过窗口结束时间时，排序输出按每个窗口聚合，输出每个窗口中交易量前N名的合约我们来回顾下整个计算的流程，以及转换的原理。