- 博客(2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 CDH版MR开发并指定hive表为输入输出
CDH版MR开发提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、使用HCatInputFormat指定为Inputformat二、使用HCatOutputFormat指定为Outputformat1.Mapper2.Reducer3.Main4.多个任务总结前言有需求在cdh版平台运行MR任务，读取hive表数据，结果再写入hive表，由于cdh版的pom依赖不太好找，网上很多都是重复且无用的，不过中间也收集了很多有用的信息，整合起来最后完成了开发。样例代码还有
2022-03-16 15:40:32
1823
原创 ubuntu安装hadoop、ZK，kafka，mysql等集群过程及问题解决
ubuntu系统 安装hadoop,zookeeper等集群从17年开始安装集群，第一次照着安装文档安装了无数遍，然后因为虚拟机太卡，在自己的ubuntu上系统上又摸索着安装，第三次是误删了系统内核，又重安系统，重安装大数据的相关软件，又给朋友安装过，但是没有哪一次我是从头到尾一直顺利的，总会有各种问题，权限问题，密钥问题，远程问题，防火墙问题等等。以前因为忙着没时间记录，现在因为要自己搭集群，...
2019-02-20 15:47:20
337
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人