
Hadoop
Hadoop生态相关:HDFS、MapReduce、Yarn等
wufabao
这个作者很懒,什么都没留下…
展开
-
hive get_json_object json_tuple json解析详解
json是常见的数据接口形式,实际中使用也很广泛,下面我们看看怎么在hive中解析json格式。hive中常用的解析json格式的函数有两个:先看看get_json_object从上面可以看出,get_json_object输入的参数是两个,json_txt与path。其中,json_txt就是我们需要解析的json字符串,而path表示json中的"字段"。再看看json_tuple方法从上面的解释不难看出,json_tuple与get_json_object的用法很类似,唯一的区别是,json_t转载 2022-06-12 19:31:08 · 1193 阅读 · 0 评论 -
HDFS集群启动后,DataNode节点没有挂载上
排错过程安装Impala后,删除掉Impala依赖的Hadoop、Hive等框架后,还是启动自己之前部署的Hadoop、Hive,没有报错,但是通过WEb界面查看,发现集群处于安全模式,然后所有的DataNode节点都没有挂载上(这时候没有注意到DataNode节点没有挂载上)。。。Security is off.Safe mode is ON. The reported blocks 0 needs additional 539 blocks to reach the threshold 0.999原创 2021-11-19 10:55:29 · 2340 阅读 · 0 评论 -
MapReduce程序打成jar包运行报错ClassNotFoundException
原因:没有把驱动类的路径写上去原创 2021-10-15 17:00:45 · 1095 阅读 · 0 评论