
hdfs
文章平均质量分 56
*星星之火*
从菜鸟到专家,陪同大家一起成长
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
小文件治理之hadoop集群监控:文件目录个数 获取的三种方法
系列文章目录 提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 例如:第一章 Python 机器学习入门之pandas的使用 提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、二、jmx获取二、使用hadoop fs -count 获取三、代码实现总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。 提示:以下是本篇文章正原创 2022-03-15 08:06:38 · 1031 阅读 · 0 评论 -
小文件治理之hadoop集群监控:Jmx上的TotalFiles其实是TotalFilesAndDirectory 总文件+总目录数
文章目录前言一、50070页面,这2个数字的意思二、验证方法步骤1.停止集群,记录目前的数据步骤2. put一个有3个block的文件看看,对比变化总结 前言 50070页面上的文件数和block数,通过jmx获取时,看字面上的意思对不上,所以,专门写个文章分析一下。 提示:以下是本篇文章正文内容,下面案例可供参考 一、50070页面,这2个数字的意思 第一个是文件数+目录数的总和,目前是66236,第二个数是65530个block,block的个数(不包含副本) 二、验证方法 **验证方法:**停止原创 2022-03-09 14:20:56 · 2501 阅读 · 0 评论 -
hadoop fs -count 返回的是目录树和文件数
文章目录测试hadoop fs -count 返回前2个数值的意思 测试hadoop fs -count 返回前2个数值的意思 [root@hadoop101 software]# hadoop fs -ls -R /tmp/test drwxr-xr-x - root supergroup 0 2022-03-09 11:11 /tmp/test/software -rw-r--r-- 2 root supergroup 209419991 2022-03-09 11:11原创 2022-03-09 11:24:47 · 2454 阅读 · 0 评论 -
小文件治理之hadoop集群监控: hdfs jvm数据获取
文章目录前言一、获取jvm使用情况信息二、获取的所有信息三、获取指定信息方法四、更多namenode的参数信息总结 前言 怎样爬取50070页面的信息,一开始想写个爬虫,后来发现,可以通过接口调用,节省了很多麻烦 一、获取jvm使用情况信息 }[root@hadoop101 ~]# curl hadoop101:50070/jmx?qry=java.lang:type=Memory { "beans" : [ { "name" : "java.lang:type=Memory", "原创 2022-03-08 19:46:13 · 972 阅读 · 0 评论