hive-sparkSQL计算指标-模板

使用Hive与SparkSQL进行大数据指标计算

最新推荐文章于 2025-03-30 12:16:23 发布

原创

最新推荐文章于 2025-03-30 12:16:23 发布 · 206 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hive #大数据 #hadoop

本文档介绍了如何结合Hive和SparkSQL来创建计算指标的模板。通过这种方式，可以高效地处理大数据集并提取关键业务指标。

一、hive-sparkSQL计算指标-模板

-- 计算讲评时间：

-- 删除
-- drop table XXXX.table_name_3 ;

--开启设置动态分区
-- set hive.exec.dynamic.partition=true;
-- set hive.exec.dynamic.partition.mode=nonstrict;

CREATE EXTERNAL TABLE IF NOT EXISTS XXXX.table_name_3 (
    school_id                  String          comment          '学校ID',
    school_name                String          comment          '学校名称',
    user_id                    String          comment          'ID',
	user_name                  String          comment          '名称',
    exam_id                    String          comment          '考试ID',
    part                       String          comment          '讲评日期',
    start_time_rn              String          comment          '讲评排序',
    comment_time               String          comment          '讲评时长（分钟）',
    start_time                 String          comment          '讲评开始时间',