wangxj_2017的博客

在学习Hadoop的时候遇到如下的问题： Exception in thread "main" java.io.IOException: Error opening job jar: /apache_logs/cleaned.jar         at org.apache.hadoop.util.RunJar.main(RunJar.java:90) Caused by: java.ut

查看log后： 2017-09-29 12:44:51,880 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. java.lang.NumberFormatException: For input string: "7*24*60" at java.l

在Windows本地开发时遇到这样的问题： Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://node1:9000/input/piao.txt, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileS

编写MR时，有很多代码都是重复的，其实真正的需要编写的业务代码是在 map  和 reduce 中。 以下就是MR的模板： package com.wangxj.hadoop.mr; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.h

集群时间同步：在集群中找一台机器（node1,这里的node1就是任意一台机器，也可以写对应的IP地址)，然后集群中的其他机器与node1 每十分钟同步一次。 步骤： 1.rpm -qa | grep ntp  查看ntp 和ntpdate 是否安装 [root@node1 share]# rpm -qa | grep ntp fontpackages-filesystem-1.41-1.1