ergeg1的博客

这里我们针对在HIVE中遇到的NULL和空字符串问题进行简单探讨，避免踩坑！！！简单探索首先新建一张测试表test_01，用作后续测试CREATE TABLE IF NOT EXISTS test_01(id INT, name STRING,age INT, score FLOAT)ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘,’ STORED AS TEXTFILE；新增简单的几条测试数据，具体如下insert overwrite table

在hadoop集群中hadoop102执行xcall.sh jps显示bash: jps: command not found我吐了呀，在学习kafka的时候又遇到了一个问题，*币东西的。xcall.sh 的代码如下：#! /bin/bashfor i in hadoop102 hadoop103 hadoop104doecho --------- $i ----------ssh i"i "i"*"done没毛病呀，我前几天都能运行这个脚本查看集群的jps的，大概原因就在昨天我安装kyl

GroupingComparator分组（辅助排序）这里举例说明:需求:由上图结合GroupingComparator分组,我们可以做出这样的分析:需要利用“订单id和成交金额”作为key，可以将Map阶段读取到的所有订单数据按照id升序排序，如果id相同再按照金额降序排序，发送到Reduce。这里商品id无关紧要我们把它去除.接下来我们就定义orderBean:import org.apache.hadoop.io.WritableComparable;import java.io.Da

Hadoop中Writable，WritableComparable，WritableComparator之间有什么区别？ 先上图大致理解一下这都是什么？一、Writable（接口）：其实Java用的是一套重量级的序列化框架（Serializable），一个类实现了序列化之后此类对象会附带各类校验啊、继承体啊、header等额外信息，更多的信息使得此种序列化机制不便于在网络中高效传输，对于本就是用来传输大数据的hadoop框架更不合适 。所以Hadoop使用自己的序列化机制，就是Writable，