大数据开发
星陈
记录历程 分享体验
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
简单配置和启动hive/azkaban/hadoop/zookeeper/flume
一、hive启动方式 下载地址 https://download.youkuaiyun.com/download/ieiqny1/10843154 方式(1) hive/bin/beeline 回车,进入beeline的命令界面 输入命令连接hiveserver2 &...转载 2020-03-06 16:48:49 · 492 阅读 · 0 评论 -
拉链表
原文地址:https://blog.youkuaiyun.com/xiepeifeng/article/details/42431027在数据仓库的数据模型设计过程中,经常会遇到这样的需求:数据量比较大;表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,比如,查看某一个用户在过去...转载 2020-03-06 11:25:13 · 193 阅读 · 0 评论 -
MapReduce避坑总结——计算学生的总成绩和平均成绩
思路比较简单:map中数据类型为:输入LongWritable key, Text value;输出Text key, Iterablereduce中数据类型需要做一点小变化:因为题中要求输出两个值作为结果,故将其转化为字符串的形式:输入格式为map中的输出:Text key, Iterable values输出格式则均为:Text,Text具体操作: 将总成绩和平均成绩都写到Stri...原创 2019-12-02 23:58:38 · 914 阅读 · 1 评论
分享