hadoop相关
关注
分享
扫一扫
且_听_风_吟
2018年至今java后端，spring boot 、cloud项目设计管理，微服务开发模式下的高并发和分布式整体架构研究。
2015-2017年主要做传统java web ssh服务，传统的集群、分布式架构设计。
了解前端、安卓开发;
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
使用Eclipse插件连接配置Mapreduce说明与教程(hadoop-eclipse-plugin 2.6)
1.前言 网上的很多教程都是基于hadoop单机或者是伪分布式的,在HA集群的hadoop是有些不一样的; 所以写个hadoop-eclipse-plugin连接HA hadoop 集群的说明; 2.查看hadoop配置文件并配置DFS Master 查看hadoop/etc/hadoop下的配置文件; hdfs-site.xml ----->找到dfs.namenode.rpc-ad原创 2016-03-18 13:41:38 · 6786 阅读 · 0 评论 -
MapReduce在Eclipse上调试(利用Tool20160324)
1.目前Mapreduce的调试有如下几种方法 1.打包类,手动上传到hadoop部署环境运行; 2.使用hadoop的Eclipse插件; 3.使用toolRunner工具类; 本文介绍第三种; 2.原理 实现调试的核心内容是让MapReduce能够引入使用第三方jar包(包括自己写的类编译成的jar包); 要想让mapreduce程序引用第三方jar文件, 可以采用如原创 2016-03-24 10:29:17 · 1526 阅读 · 0 评论