学习是一种信仰的博客

HDFS常用端口HDFS参数描述默认配置文件例子fs.default.name namenodenamenode RPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.addressnamenode web管理端口50070hdfs-site.xml0.0.0.0:50070dfs.datanode.addressdatanode控制端口50010hdfs-site.xml0.0.0.0:50

1. 警告信息log4j:WARN No appenders could be found for logger (org.apache.ibatis.logging.LogFactory).log4j:WARN Please initialize the log4j system properly.log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.2. 解决方法在pom.x

问题描述：使用阿里云服务器，在本地windows电脑上使用idea进行hdfs api操作来上传文件时出现错误如下：org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /a.xlsx could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in th

问题描述在使用hdfs api追加内容操作，从windows电脑上的idea对aliyun服务器上的hdfs中的文件追加内容时，出现错误，如下：java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[172.2..

问题描述windows电脑向aliyun进行hdfs api文件追加操作时出现下方错误：DEBUG [Thread-3] (DFSOutputStream.java:1503) - Connecting to datanode *.*.*.*:9866DEBUG [IPC Client (927327686) connection to centos8/*.*.*.*:9820 from root] (Client.java:1192) - IPC Client (927327686) conne..

问题描述今天在写java API的MapReduce操作时，出现了Error：The method setInputPaths(JobConf, String) in the type FileInputFormat is not的错误错误原因导错了包，JobConf是旧API使用的。导入的错误的包是org.apache.hadoop.mapred.FileInputFormatimport org.apache.hadoop.mapred.FileInputFormat;解决方法..

问题描述系统找不到指定的路径。Error: JAVA_HOME is incorrectly set.Please update C:\Program_Files\hadoop\hadoop-3.1.3\etc\hadoop\hadoop-env.cmd‘-Xmx512m’ 不是内部或外部命令，也不是可运行的程序原因我的JAVA_HOME路径是"C:\Program Files\Java\jdk1.8.0_301"，Program Files有空格导致的报错问题解决将JAVA..

问题描述今天在windows电脑上使用java api进行hbase的操作时，报了如下错误Exception in thread "main" org.apache.hadoop.hbase.client.RetriesExhaustedException: Can't get the locations问题原因conf.set(“hbase.zookeeper.quorum”,“hadoop002,hadoop003,hadoop004”);我的conf写的是hadoop002、.

问题描述：今天在使用shell脚本启动集群时，发现无法启动集群，在logs目录下只有一个kafkaServer.out文件，其中内容为:nohup: failed to run command `java’: No such file or directory原本的shell脚本内容如下#!/bin/bash case $1 in"start"){ for i in hadoop002 hadoop003 hadoop004 do .

直接在hdfs文件系统上修改supergroup的权限，解决问题[root@hadoop001 hadoop-3.1.3]# hdfs dfs -chmod -R 777 /tmp

插入数据的时候出现错误:Error during job, obtaining debugging information…原因：Javaf堆内存不足解决办法修改为本地模式set hive.exec.mode.local.auto=true;

第一步：修改配置文件免密码登录mysql进入文件：vi /etc/my.cnf文件末尾添加skip-grant-tables重启mysql第二步: 免密码登录mysql输入mysql登录：进入数据库，输入：use mysql；查看root用户信息：select host, user, authentication_string, plugin from user;更新root用户信息，把密码设置为空字符串：update user set authentication_strin

报错如下Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)Vat org.apache.hadoop.conf.Configuration.set(Configuration.java:1380)...at org.apache.hadoop.util.RunJa

在查看文件内容时，在红框位置出现报错“Couldn’t preview the file”解决方法修改hdfs-site.xml，添加配置信息<property> <name>dfs.webhdfs.enabled</name> <value>true</value></property>配置浏览器所在系统的 hosts 文件windows：在 C:\Windows\System32\driver