
hadoop
空你个指针啊
别忘了你的星辰大海
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Oozie调度sqoop导入hive
command模式 workflow.xml的编写: 红框内的内容一定要写,否则数据只能导入到hdfs上,不能导入hive中。 hive.metastore.uris的值在hive-site.xml中查找 将sqoop/lib下的所有jar上传到hdfs上的ShareLib文件夹 arg模式原创 2017-06-28 14:34:25 · 1400 阅读 · 0 评论 -
Oozie调用shell脚本
job.properties的通用配置注:这里nameservice1 是hadoop中hdfs-site.xml中的dfs.nameservices。cm:8032是yarn-site.xml中的yarn.resourcemanager.addressworkflow.xml配置执行shell程序* example里的是输出一个字符串,所以exec的value是echo * 如果要调用其他的she原创 2017-06-27 17:21:06 · 5350 阅读 · 0 评论 -
Oozie运行ExampleClassNotFound异常
Oozie运行ExampleClassNotFound异常: 原因: Jar包未找到问题 解决方法: 1. 把hadoop下的jar包上传到hdfs上 2. 再在job的job.properties中设置jar包文件夹路径,如下: 设置访问jar的方法: 1. 在每一个workflow文件夹下建lib文件夹,把需要的jar放在里面, job会将需要的jar自动加载到workflow的cla原创 2017-06-27 14:04:36 · 644 阅读 · 1 评论 -
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
原文链接:http://www.youkuaiyun.com/article/2014-02-17/2818431-HDFS+MapReduce+Hbase转载 2017-06-05 15:04:50 · 360 阅读 · 0 评论 -
Oozie bundle定时调度多job
包含关系 实例 workflow1xml workflow2xml coordinator1xml coordinator2xml bundlexml jobproperties包含关系 几个包含关系: action∈workflow∈coordinatorㄈbundle 就是workflow可以包含多可action,通过coordinator来定时调度workflow,通过bund原创 2017-07-06 10:09:11 · 3595 阅读 · 1 评论