TheManOfCoding的博客

eclipse连接远程Hadoop错误信息：Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol    message end-group tag did not match expected tag.; Host Details : local host is: "ubunt...

最近尝试在windows开发MR程序并且提交Job，在解压缩好hadoop，配置好环境变量后，打开cmd 输入hadoop version 的时候出现以下错误：Error: JAVA_HOME is incorrectly set.       Please update F:\hadoop\conf\hadoop-env.cmd出现这个问题，我首先打了下java -versionjava ver...

执行hadoop jar命令时报Not a valid JAR错的原因是执行该命令是在本地文件系统下，而非hdfs文件系统，所以若是hdfs上的jar包的路径就会报Not a valid JAR的错误，如下图：改成本地jar包的路径后即可正确执行：hadoop jar Desktop/WordCount.jar mr.WordCount /wsd/input/ /wsd/output/output...

错误：    java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try原因：    无法写入；我的环境中有3个datanode，备份数量设置的是3。在写操作时，它会在pipeline中写3个机器...

安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因：Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。1、首先找到对应自己hadoop版本的64位的l...

问题导读：1.DataNode的http服务的端口、ipc服务的端口分别是哪个？2.NameNode的http服务的端口、ipc服务的端口分别是哪个？3.journalnode的http服务的端口、ipc服务的端口分别是哪个？4.ResourceManager的http服务端口是哪个？5.NodeManager的http服务端口是哪个？6.Master的http服务的端口、ipc服务的端口分别是哪...

登录ambari管理页面，找到Manage Notifications选项创建告警配置告警修改邮件标题1）下载 alert-templates.xml https://raw.githubusercontent.com/apache/ambari/branch-2.5/ambari-server/src/main/resources/alert-templates.xml注意：下面这些操作都是在a...

1、Impala 外部 Shell　　Impala外部Shell 就是不进入Impala内部，直接执行的ImpalaShell 例如通过外部Shell查看Impala帮助可以使用： $ impala-shell -h 这样就可以查看了；　　再例如显示一个SQL语句的执行计划： $ impala-shell -p select count(*) from t_stu　　下面是Impala的外部She...

下表中列出了 Impala 是用的 TCP 端口。在部署 Impala 之前，请确保每个系统上这些端口都是打开的。组件服务端口访问需求备注Impala DaemonImpala 守护进程前端端口21000外部被 impala-shell, Beeswax,

1、HDFS HA介绍相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA和Federaion。HA即为High Availability，用于解决NameNode单点故障问题，该特性通过热备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而实现不间断对外提供服务。Federation即为“联邦”，