
Hadoop
勇敢的俍心
谦虚,谨慎,自信,仔细。
展开
-
Hive SQL中文乱码 中文筛选条件
Hive SQL中文乱码 中文筛选条件我们编辑器环境的中文编码可能与Hive表中的中文编码不一致,但是我们有时候需要用到例如case when的语句,涉及中文的判断,例如:case when province='海外' then city else '中国'end as country此时,如果发现这个判断逻辑无效,或者结果字段中文乱码时,可能原因是我们编辑器的可能是GBK或者UTF-8。解决方案是转成Unicode编码,该语句变为:case when prov原创 2020-09-13 17:14:19 · 2532 阅读 · 0 评论 -
CDH6.2/6.3 集成安装Flink 简明教程
CDH6系列并不自带Flink,目前此类教程比较少,特此分享出来一个最简单的集成方式。第一步:下载需要的jar,parcel等文件wget https://archive.cloudera.com/csa/1.0.0.0/csd/FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jarwget https://archive.cloudera.com/csa/1.0.0.0/parcels/manifest.jsonwget https://archive.cloudera.co原创 2020-06-03 16:46:07 · 7167 阅读 · 14 评论 -
Hadoop框架下运行MapReduce程序
本文介绍了在Linux中Hadoop环境下,利用mapReduce框架写wordCount应用程序的主要方法,并且提供程序的解释说明。首先在工程中创建一个package:my.examples.hadoop.mr,在这个包下新建一个class:WCMapper;再新建一个class:WCReducer;最后新建一个class:WCRunner。WCMapper 主要说明:map 和 reduc原创 2016-04-14 23:01:22 · 723 阅读 · 0 评论 -
关于MapReduce框架中Key-Value对象的重用
问题说明在写MapReduce的reduce程序时,有时会用到Java中Treemap容器对准备输出的treeMap.put(new LongWritable(count), key);//有意调换K,V以便排序但是输出时却发现key的值都是一个,而且都是最后一个put进入treeMap中的值!这是为什么? 请教了公司大牛wanglei2才知道其中的原因,在此感谢王老师并表达膜拜之情! 原因是原创 2016-08-30 21:58:18 · 1862 阅读 · 0 评论 -
Java中TreeMap和HashMap的应用和比较
**注意:**TreeMap的写法可用于Mapreduce中reduce程序中对K,V的排序输出,K,V在输出时互换。package cn.bjut.vlsi.TreeMap;import java.util.HashMap;import java.util.Map.Entry;import java.util.Set;import java.util.TreeMap;public class原创 2016-08-23 22:18:28 · 2475 阅读 · 2 评论 -
Hive中case when的两种语法
总结一下:两种表达方式是等效的 方法一:case when tb1.os = 'android' then 'android'when tb1.os = 'ios' then 'iPhone'else 'PC'end as os,方法二:case tb1.oswhen 'android' then 'android'when 'ios' then 'iPhone'else 'PC'原创 2017-05-03 22:52:45 · 140015 阅读 · 3 评论