
hadoop
csdm_admin
热爱生活,痴迷科学技术
展开
-
hadoop集群出现两个datanode节点互相排斥的情况解决
我明明配置了3个节点的datanode,但是在 http://mini2:50070/dfshealth.html#tab-overview 的管理界面了只看到两天存活 Live Nodes 为 2, Dead Nodes 为 0 我想就算有一台挂掉也不应该是这样,Dead Nodes 应该为 1才对, 然后我切换到Datanodes界面查看: 发现mini2和mini3存活, 我就原创 2017-03-18 14:00:47 · 2076 阅读 · 0 评论 -
CentOS下启动不了eclipse
环境centos6.6(64-bit) eclipse(32-bit) eclipse的安装目录是/eclipse 启动方式:cd /eclipse 再 ./eclipse启动的时候就会报错报错信息上提示查看log信息 :/eclipse/configuration/1488180885634.log 。 cat 打开:[root@client eclipse]# cat confi原创 2017-02-27 11:08:55 · 2282 阅读 · 0 评论 -
hadoop大量小文件的优化策略
代码: //如果不设置InputFormat,它默认用的是TextInputformat.class job.setInputFormatClass(CombineTextInputFormat.class); CombineTextInputFormat.setMaxInputSplitSize(job, 4194304); CombineTe原创 2017-04-07 13:10:05 · 1242 阅读 · 0 评论 -
hadoop三大组件的简单图解
如有不对,欢迎大家指正原创 2017-03-17 14:24:38 · 5320 阅读 · 0 评论 -
使用maven搭建hadoop环境
关于Maven的使用就不再啰嗦了,网上很多,并且这么多年变化也不大,这里仅介绍怎么搭建Hadoop的开发环境。 1. 首先创建工程[plain] view plain copy print?mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-arc原创 2017-04-25 12:23:38 · 353 阅读 · 0 评论