
Hadoop
文章平均质量分 60
实践是检验真理的唯一标准
CN-FuWei
云原生领域优质创作者,热爱开源、善于折腾,对新技术充满好奇心。
展开
-
/hbase/.oldlogs 存储空间过多如何清理
打开http://${master}:${port}/cm.jsp 账号密码均为hbase输入密码后,页面如下:调整master的log保留时间由默认的3天改成1天(注意数据安全,尽量在存储空间无风险的情况不要进行改操作)hbase.master.logcleaner.ttl 该值默认为259200000,代表3天,将该修改为86400000 1天如下:点击load使得该值被加载。原创 2024-01-17 15:30:08 · 518 阅读 · 0 评论 -
HDFS常用命令总结
命令的形式:hdfs dfs -linux命令这与linux中命令操作是一样的。hadoop fs等同于hdfs dfs。原创 2023-02-03 14:50:22 · 1960 阅读 · 1 评论 -
【云原生】Hadoop HA on k8s 环境部署
在 Hadoop 2.0.0 之前,一个集群只有一个Namenode,这将面临单点故障问题。如果 Namenode 机器挂掉了,整个集群就用不了了。只有重启 Namenode ,才能恢复集群。另外正常计划维护集群的时候,还必须先停用整个集群,这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制,这里主要讲Hadoop HA on k8s 环境部署。HDFSYARN。转载 2022-10-19 14:26:17 · 1661 阅读 · 5 评论 -
【云原生】Hadoop on k8s 环境部署
Hadoop是Apache软件基金会下一个开源分布式计算平台,以HDFS(Hadoop Distributed File System)、MapReduce(Hadoop2.0加入了YARN,Yarn是资源调度框架,能够细粒度的管理和调度任务,还能够支持其他的计算框架,比如spark)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。hdfs的高容错性、高伸缩性、高效性等优点让用户可以将Hadoop部署在低廉的硬件上,形成分布式系统。目前最新版本已经是3.x了,。HDFSYARN。转载 2022-10-17 14:24:40 · 945 阅读 · 1 评论