感谢你的关注~~~~ღ( ´･ᴗ･` )

hadoop fs -du -s -h 文件路径

#!/bin/bashcat 20210419.txt | while read line ;docountt=`hdfs dfs -ls /user/hive/warehouse/$line | grep Found | cut -d " " -f2`echo $line $counttdone

第一种情况：在hdfs-site.xml中：<property><!-- datanode进行内存和磁盘数据集块校验，更新内存中的信息和磁盘中信息的不一致情况，默认6小时，3600000毫秒是1小时--><name>dfs.datanode.directoryscan.interval</name><value>3600000</value></property>将这个...

1.下载Hadoop：wget -P /data/https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz2.解压：tar -zxvf hadoop-3.1.4.tar.gz3.域名解析配置vim /etc/hosts4.配置Hadoop相关环境变量：vim /etc/profile5.更新环境变量：source /etc/profile6.查看..

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException当执行./bin/yarn-session.sh时报如下错误：解决办法：将cp /data/hadoop-3.1.4/share/hadoop/yarn/hadoop-yarn-api-3.1.4.jar /data/flink-1.10.2/lib/中，然后重新启动就OK了...

hadoop_yarn:9000hadoop nodemanager结点主机名不能带下划线_

使用FileSystem中的delete()方法可以永久性的删除文件或目录。public boolean delete(Path f,boolean recursive) throws IOException如果 f 是一个空目录，那么recursive的值就会被忽略，只有在recursive为true时，非空目录及其内容才会被删除，否则会抛出IOException异常。...

HIVE运行查询脚本时报错，last block does not have enough number of replicas： 1 2018-10-15 2018-07-17 2 2018-10-15 10:00:01 3 Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; su...

此方法是在hive表有分区的情况下：以将reduce个数设为1set mapred.reduce.tasks=1;set hive.exec.dynamic.partition.mode=nonstrict;SET hive.exec.max.dynamic.partitions=100000;SET hive.exec.max.dynamic.partitions.pernode...

解释：safemode是namenode的一种状态（active/standby/safemode安全模式）namenode进入安全模式的原理：a、namenode发现集群中的block丢失率达到一定比例时（0.01%），namenode就会进入安全模式，在安全模式下，客户端不能对任何数据进行操作，只能查看元数据信息（比如ls/mkdir）b、如何退出安全模式？找到问题所在，进行修复（比如修复宕机的datanode）或者可以手动强行退出安全模式（没有真正解决问题）： hdfs namen...

hadoop中的MapReduce框架里已经预定义了相关的接口，其中如Mapper类下的方法setup()和cleanup()。setup()，此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！cleanup(),此方法被MapReduce框架仅且执行一次，在执行完毕Map任务后，进行相关变量或资源的释放工作。若是将释放资

查看文件夹下 各个目录的总大小（兆或者是G）：hdfs dfs -du -h /flume_cluster/c_wechat_mpe/查看每个文件大小（默认是Byte）hadoop fs -du /data/service_data/hadoop/flume_cluster/c_wechat_mpe/查看的每个文件大小（计算的是G单位的）hadoop fs -du /name/service_data/hadoop_servie/flume_cluster/wechat_log/20* ..