- 博客(11)
- 收藏
- 关注
RSS订阅转载 多值维度设计
在数仓建设过程中可能会遇到事实表中的一行对应维度表中多行的情况，产生多值维度，例如一个订单由多名销售人员共同完成。就此问题说一下我的设计思路 思路1：在事实表中增加多个字段来标记同一个订单的同种维度值 适用场景 适用于固定销售人员数量的场景 优点： 好维护，结构清晰，易理解 缺...
2019-05-30 21:21:00
877
转载 mapreduce之join
实现思想：MR实现表的join操作，实际上是不同文件的join操作，不同文件通过某些列作为连接字段进行连接。 为了实现这一功能，过程如下： 1、在map阶段，将连接的字段组成map的key值（如连接字段有多个，可以将这些字段通过某个分隔符进行连接），将其他字段通过分隔符连接放在map的v...
2019-04-25 14:28:00
162
转载 缓慢变化维之拉链表
数据仓库设计维度表时涉及缓慢变化维，针对缓慢变化维，根据业务场景，有两种设计：其一覆盖更新，其二新增插入。针对第一种情况可以实行全面覆盖更新，针对第二种情况可以采取每日的全量备份和拉链表。每日全量备份有很多相同的数据信息，对存储空间是极大的浪费，全面覆盖更新就难以查询历史状态，而...
2019-04-24 17:23:00
6551
转载 hadoop之命令
HADOOP FS (1) -help：输出这个命令参数 hdfs dfs -help rm / hadoop fs -help rm (2) -ls: 显示目录信息 hadoop fs -ls / R递归 (3) -mkdir：在hdfs上创建目录 hadoop fs ...
2019-04-23 14:18:00
149
转载 linux系列之易混知识点
$()、 ` ` 、 ${ }、$[]、$(()) 、(())、()、{}、$?、$*、$n、$#、$@ $()与 ` ` 在 bash shell 中，$( ) 与` ` (反引号) 都是用来做命令替换用(commandsubstitution)的。 例如 versi...
2019-04-12 14:46:00
112
转载 linux系列之VIM
vim ~/.vimrc //添加 set nu，输入:wq保存退出 yy：复制，光标所在的这一行 4yy：复制，光标所在行向下4行 p：粘贴 dd：删除（剪切，如果dd后执行p），光标所在的这一行 4dd：删除，光标所在行向下4行 D：从当前光标开始剪切，一直到行末（含光标） ...
2019-04-02 17:42:00
102
转载 mapreduce与spark的效率对比
数据文件格式 根据上述数据文件编写的mapreduce代码 package first.first_maven;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import...
2019-02-13 11:20:00
261
转载 mapreduce之WritableComparable实例二次排序
package first.first_maven;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Wri...
2019-02-11 16:35:00
289
转载 mapreduce之WritableComparable实例TOPN
在进行mapreduce编程时key键往往用于分组或排序，当我们在进行这些操作时Hadoop内置的key键数据类型不能满足需求时，或针对用例优化自定义数据类型可能执行的更好。 因此可以通过实现org.apache.hadoop.io.WritableComparable接口定义一个自定义的Wr...
2019-02-11 15:16:00
249
转载 mapreduce中combiner应用实例
每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一 下面是一个应用，数据与结果都在代码中做了示范 package first.first...
2019-02-03 10:45:00
336
转载 mysql往mongodb迁移数据
业务场景：需要将一个客户的所有沟通记录添加到一个客户中去，但是不知道客户被沟通的次数，导致不知道应该添加多少字段，mysql扩展性差，不能满足这个需求。mongodb作为文档型数据库，可以随意增删字段，在这方面的优势比较突出。下面是用python 将MYSQL存储到MONGODB的一个简单例子...
2018-11-28 10:40:00
344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人