只是甲的博客

文章目录概述：一. JDBC1.1 新建项目并导入依赖1.2 Java代码1.3 测试记录二. Zepplin2.1 Zepplin 下载2.2 Zepplin安装和启动2.2.1 解压文件2.2.2 修改配置文件2.2.3 启动Zeppelin2.3 配置Zeppelin支持Kylin2.4 实操参考: 概述： 可以与 Kylin 结合使用的可视化工具很多，例如： ODBC：与 Tableau、Excel、PowerBI 等工具集成 JDBC：与 Saiku、BIRT 等 Java 工具集成 RestAP

文章目录一. 使用衍生维度（derived dimension）二. 使用聚合组（Aggregation group）三. Row Key 优化 一. 使用衍生维度（derived dimension）   衍生维度用于在有效维度内将维度表上的非主键维度排除掉，并使用维度表的主键（其 实是事实表上相应的外键）来替代它们。Kylin 会在底层记录维度表主键与维度表其他维度 之间的映射关系，以便在查询时能够动态地将维度表的主键“翻译”成这些非主键维度，并 进行实时聚合。 虽然衍生维度具有非常大的吸引力，但这也

文章目录一. 维度和度量二. Cube和Cuboid三. Cube存储原理四. Cube的构建算法4.1 逐层构建算法（layer）4.2 快速构建算法（inmem） 一. 维度和度量 维度：即观察数据的角度。比如员工数据，可以从性别角度来分析，也可以更加细化， 从入职时间或者地区的维度来观察。维度是一组离散的值，比如说性别中的男和女，或者时间维度上的每一个独立的日期。因此在统计时可以将维度值相同的记录聚合在一起，然后应 用聚合函数做累加、平均、最大和最小值等聚合计算。 度量：即被聚合（观察）的统计值，也就

文章目录一. Cube的Build概述二. 代码及实战参考: 一. Cube的Build概述 前面的步骤，我们创建好Cube后，需要手工点击Build，让Kylin去聚合数据 生产环境,Hive里的数据每天都会发生变化，那么我们Kylin预聚合的数据也需要每天进行更新。 此时我们需要通过脚本实现自动Build我们创建好的Cube，然后通过调度系统，进行定时调度。 二. 代码及实战 生成密钥 [root@hp3 kafkadata]# python -c "import base64; print base

文章目录一. 只能按照构建 Model的连接条件来写SQL二. 只能根据创建cube的时选择的维度字段分组统计三. 只能统计构建cube时选择的度量值字段 一. 只能按照构建 Model的连接条件来写SQL 我们之前的Model选择的emp表和dept表的连接条件是inner join 此时我们想把inner join改成left join select dname, sum(sal) from emp e left join dept d on e.deptno = d.deptno

文章目录一. 数据准备二. 创建项目三. 选择数据源四. 创建Model五. 创建cube六. Kylin对比Hive6.1 Hive端执行6.2 Kylin 一. 数据准备 以Oracle scott下的emp表dept表为例 参考博客: MySQL版本scott 根据MySQL版本的数据，同步到hive。 二. 创建项目 Kylin的架构是 : 项目->Model->Cube 重新加载元数据 创建project 三. 选择数据源 Model->Data Source

文章目录一. Kylin下载二. Kylin 安装2.1 解压2.2 安装2.2.1 遇到hdfs权限问题2.2.2 集成HBase报错参考: 一. Kylin下载 清华的镜像源上居然可以下载到kylin集成cdh版本的，nice。 mkdir -p /home/kylin cd /home/kylin wget https://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-3.1.2/apache-kylin-3.1.2-bin-cdh60.

文章目录一. Kylin概述二. Kylin架构三. Kylin的特点参考: 一. Kylin概述 Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。 Apache Kylin™ 令使用者仅需三步，即可实现超大数据集上的亚秒级查询。 定义数据集上的一个星形或雪花形模型 在定义的数据表上构建cube 使用标准 SQL 通过 ODB