
Hadoop
文章平均质量分 68
夏革
这个作者很懒,什么都没留下…
展开
-
Oozie
介绍在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起,这样才能够达到目的。在Hadoop生态圈中,有一种相对比较新的组件叫做Oozie,它可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务。Oozie实际上是服务于hadoop生态系统的工作流调度工具。Oozie工作流程定义是一个DAG(Directed Acyclical Gr原创 2017-11-27 18:19:56 · 522 阅读 · 0 评论 -
Hadoop、Hive等介绍
HueHadoopHive 数据仓库工具Hbase 分布式数据库Hue介绍Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。作用1,访问HDFS和文件浏览 2,通过web调试和开发hive以及数据结果展示 3,查询solr和结果展示,报表生成 4,通过web调试和开发impala交互式SQL Query 5,spark调试和开发 6,P原创 2017-11-25 18:37:08 · 1033 阅读 · 0 评论 -
hive函数
行拆列 explode explode(ARRAY) 列表中的每个元素生成一行 explode(MAP) map中每个key-value对,生成一行,key为一列,value为一列---word count例子select word,count(1) numfrom(select explode(array_x) wordfrom table_x) agroup by ...原创 2018-03-21 18:04:04 · 307 阅读 · 0 评论 -
hive基础及表操作
集合数据类型文本文件数据编码修改表表操作分区操作列操作Join语句Reduce side JoinMap side joinleft semi-join集合数据类型 数据类型 描述 语法示例 STRUCT 和C语言中的struct或”对象”类似,都可以通过”点”符号访问元素内容。如,某列’desc’的数据类型是stru...原创 2018-04-03 14:49:37 · 237 阅读 · 0 评论 -
Hive 报错
1. 错误信息如下: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache....原创 2018-05-05 15:54:19 · 2986 阅读 · 0 评论