
hadoop
黑头人
学习
展开
-
hadoop shell 命令
hadoop fs -count -q /gac 查看hdfs 使用情况hadoop fask /gac -files -blocks -locations -racks fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。hadoop fs -du /显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小...原创 2020-02-26 12:06:49 · 184 阅读 · 0 评论 -
hadoop 问题汇总
cdh hiveMetaException(message:Version information not found in metastore修改conf/hive-site.xml 中的 “hive.metastore.schema.verification” 值为 false 即可解决 “Caused by: MetaException(message:Version informa...原创 2019-02-28 10:34:34 · 676 阅读 · 0 评论 -
hadoop测试实战
1.运行MapReducehadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount input/test1.txt /mrout2 . 测试 sparkspark-submit --master local --class org.apa...原创 2019-03-04 14:50:46 · 130 阅读 · 0 评论