学无止境，永不停歇

关于“/dev/mapper/centos-root 100%”爆满问题1.查看磁盘存储情况df -h2.回到根目录下，查看具体情况，最好用root用户cd /du -h -x --max-depth=13.然后一级一级目录定位，最后发现是hdfs文件突然增大，再使用以下命令可以定位到具体的hdfs文件hadoop fs -du -s -h /user/hive/warehouse/ods.db注：/user/hive/warehouse/ods.db 表示文件或文件夹路径每一次

hadoop下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz本来想自己写一遍，一看时间，要下班了，算了，直接贴上大佬的博客吧：https://www.jianshu.com/p/7fd1fe1e771f

Hadoop3.3.0集群安装1.集群规划2.关闭防火墙3.设置静态IP，修改主机名，以及创建集群账号4.关机，快照，克隆5.编写一个分发脚本6.配置免密登陆7.安装Java和Hadoop8.安装hadoop集群9.通过网页访问hdfs集群的状态10.通过网页访问YARN集群的状态寄语环境：JDK1.8Centos 7.8Hadoop 3.3.01.集群规划在VMWare中构建3台运行Centos的机器作为服务器，一共3个node，一个node为namenode（master主机） ，另外两个no

20/05/05 23:52:24 WARN CorruptStatistics: Ignoring statistics because created_by could not be parsed (see PARQUET-251): parquet-mrorg.apache.parquet.VersionParser$VersionParseException: Could not par...

出现 java.lang.NoSuchMethodError 错误的原因及解决方法问题分析：出现这种情况，一般是存在jar冲突，简单的说就是导入了两个相同名称的jar，系统不知道用哪个。解决思路：1、找到发生冲突的jar，然后定位发生冲突的jar在maven仓库中的位置，使用如下方法对其进行排除。 <exclusions> ...

关于hadoop集群中hive表中中文字符乱码问题hive表中中文乱码问题是我们一般是我们没有设置元数据编码格式，我们知道hive的元数据是存储在mysql的metastore数据库中，表内容存储在hdfs上，所以只要修改mysql的字符集编码为utf-8即可。操作如下：启动mtsql查看当前编码格式：①修改数据库metastore中对应表的字段内容。[atguigu@hadoop102...

kafka启动之后，一段时间后自动关闭kafka启动之后，一段时间后自动停止，出现这种情况一般是没有使用守护进程 -daemon 启动kafka。[cluster@hadoop102 kafka_2.11-0.11.0.2]$ bin/kafka-server-start.sh -daemon config/server.properties 原因请参考/opt/module/kafka_...