- 博客(8)
- 收藏
- 关注
RSS订阅原创 sparklivy0.7.1的安装和使用
sparklivy0.7.1的安装和使用下载安装spark，hadoop；下载安装sparklivy的bin-zip包：wget https://mirror.bit.edu.cn/apache/incubator/livy/0.7.0-incubating/apache-livy-0.7.0-incubating-bin.zip 配置解压目录下的conf下的livy.conf.template文件为livy.conf,添加配置：livy.server.host = iplivy.se
2021-08-16 11:08:22
370
原创 hive、oracle、mysql、flinkSQL等结构化（或类结构化）查询语言中的多维分析函数的使用？
hive、oracle、flinkSQL、mysql中的多维分析函数可以帮助我们在多个维度下根据自己的需要来确定如何根据某些维度或者某个维度、或者全部维度来聚合，省却了写sql时候的语句的重复书写，简化了代码。多维分析函数就是group by后面根据特定的组合来聚合，总共分为三种（grouping sets、cube、rollup）：（1）grouping sets这也是用的比较多，最灵活的方式，因为你可以根据自己的需要选择需要聚合的维度，而不是像另外两种是某一种场景下的需求。select .
2021-06-24 10:27:02
282
原创 PLSQL developer14/PLSQL14如何修改字体和文字大小,如何修改背景颜色？
PLSQL developer14如何修改字体和文字大小不解释，直接上图。
2021-04-30 13:56:18
1957
原创 横向连接left join lateral的使用
横向连接left join lateral的使用在oracle、mysql8.0之后、postgre、DB2中，都有横向连接，涉及到lateral的使用。这里根据需要，我们往往会用到left join lateral来解决一些用left join难以解决的场景。理解left join 和left join lateral的区别可以用延迟连接来理解，或者可以理解table_a left join lateral 是先拿到left join lateral前面的table_a的数据，在进行left join之
2021-03-11 13:37:36
5244
6
原创 处理数据仓库中的缓慢变化维度
数仓中的缓慢变化维度在数据仓库建设中，如果使用维度建模，就会考虑到一些特殊的维度的处理：缓慢变化维度。什么是缓慢变化维度？从原始层ods层的数据中进行整理，得到统一粒度的维度表、事实表，往往根据不同业务部门的需求会有各个不同的主题域的划分，而每个主题域就以一张事实表为核心。维度表的数据特征相对于事实表，通常是不经常变化的。但是，有些维度可能存在缓慢变化的过程。比如供应商、渠道、用户、产品编号等，可能随着时间推移，数据会有新的变化。这时候要考虑处理缓慢变化维度的方式。下面是比较常用的几种方式，主要依据
2021-03-09 22:04:22
334
原创 hive开窗函数使用，用案例演示
hive的开窗函数的使用hive开窗函数，大致就是row_number()、sum()、coun()、avg()、max()、min()、first_value()、last_value()、lag()、lead()、cume_dist()、rank()、dense_rank()、ntile()这些接over开窗口，over()中制定partition by,表示分组，order by表示排序；开窗方式可以是对分组内，或者分组后并排序之后获取当前行到有界或者无界的行数据的聚合，或者是对于分组后（是否排序看
2021-03-07 02:28:56
2595
原创 数据仓库建模的模型分类和特点
雪花模型、星型模型、星座模型的区别？介绍雪花模型：也可以交雪花模式、雪片模型、雪片模式，形状像❄️雪花。特点就是形似雪花，从中间放射状态扩展，然后每个节点还有扩展。这种数据表之间的特点是维度表围绕着某个事实表，然后这些维度是多层级的，通过外键关联（一般是id）。这种模型的特点显而易见，就是维度的层级关系特别明确，成放射状的树叶叶脉状生长。星型模型星型模型区别于雪花模型在于它的维度表不是多层级的，多个维度表围绕着一个事实表，将上图整理成星型模型：星星模型的维度表不存在多级别，而是将
2021-03-06 23:12:30
1189
原创 oracle和hive的行列转换，SQL行转列、列转行
oracle和hive如何实现行转列、列转行？现在有oracle表student：三个字段name、subject、score，里面的数据是：张三 语文 60张三 数学 70张三 英语 55李四 语文 90李四 英语 75李四 物理 30王五 语文 40王五 英语 80王五 物理 651. 用oracle S
2021-03-06 01:17:12
540
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人