CDH 6.x版本 HBase基础调优参数

原创

于 2024-02-18 14:28:31 发布

· 963 阅读

8 ·

版权

文章标签：

#hbase #数据库 #大数据

本文详细解释了HBase中的关键参数，如RegionServer处理器线程数、Meta表请求处理量、客户端重试次数、存储文件限制以及Java堆大小，旨在帮助用户优化HBase性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参数	默认值	调优值	参数解释
hbase.regionserver.handler.count	30	120	指定了每个RegionServer处理请求的最大线程数
hbase.regionserver.metahandler.count	30

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

abcdggggggg

关注关注

11
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

HBase调优 | HBase 性能调优之内存篇

萌兔兔MMQ！！

08-10

737

而 G1 适合大内存的场景，通过把堆内存划分为多个 Region（不是 HBase 中的 Region），然后对各个 Region 单独进行 GC，这样就具有了并行整理内存碎片的功能，可以最大限度的避免 Full GC 的到来，提供更加合理的停顿时间。此外，HBase 2.x 不再支持该参数。hbase.bucketcache.size：BucketCache 大小，取值有两种，一种是[0,1]之间的浮点数值，表示占总内存的百分比，另一种是大于1的值，表示占用内存大小，单位 MB。...

cdh集群搭建(6.3)

前方的路在刚开始

07-19

4189

6.3是社区的免费版，再往后是收费版，目前官方已经取消了地址，大家可以从我下面给出的地址中获取,云服务器12月到期，我不打算继续续费（一年2000，2MB下载速度，大家觉得下的慢，可以联系我，提供赞助，只要钱够，想要多快的服务器，阿里都提供）我打算全部删除，重新来一次，文档要修改的非常细，这样我以后就可以3小时内搭完。硬件要求官方建议，主节点内存32GB，2核心以上，从节点16GB，2核以上。文档老了，花了2天，解决完所有bug，先来一张图。虚拟机化测试，官方建议，社区版，，企业版最低要求，10G。....

参与评论您还未登录，请先登录后发表或查看评论

CDH集群中关于HBase的优化

舒克_开飞机的blog

10-13

8603

1. 垃圾回收优化 1）首先是设置新生代大小的参数，不能过小，过小则导致年轻代过快成为老生代，引起老生代产生内存随便。同样不能过大，过大导致所有的JAVA进程停止时间长。-XX:MaxNewSize=256m-XX:NewSize=256m这两个可以合并成为-Xmn256m这一个配置来完成。 2）其次是设置垃圾回收策略：-XX:+UseParNewGC -XX:+UseConcMarkSw

HBase(三): HBase(CDH)生产调优

Java大数据

11-14

3553

文章目录基于 MemStore flush触发的生产调优memstore级别限制:region级别限制：RegionServer 级别限制（影响最大）：Hlog级别限制定期级别限制手动级别HBase 合并合并 Compaction影响：触发条件: 基于 MemStore flush触发的生产调优 memstore其实是一个内存结构存储，一个CF对应一个memstore。HBase触发flus...

hbase优化

程序员里的小女生

03-31

493

hbase split条件： 1、split策略 2、flush之前会检测区域中HStoreFile数目是否超过hbase.hstore.blockingStoreFiles，如果超过且没有等待超时会调用CompactSplitThread.requestSplit(HRegion) https://blog.csdn.net/gingerredjade/article/details/63696842 ...

CDH优化大全

MDZ_1122333322的博客

07-31

639

写数据时，在场景允许的情况下，最好使用Put List的方式，可以极大的提升写性能。设置参数的路径如下：在CDH Manager页面中，选择“服务管理 > HDFS > 服务配置”，将“参数类别”设置为“全部配置”，并在搜索框中输入参数名称。在CDH Manager系统中，选择“服务管理 > HDFS > 服务配置”，“参数类别”类型设置为“全部配置”。在CDH Manager页面中，选择“服务管理 > HDFS > 服务配置”，将“参数类别”设置为“全部配置”，并在搜索框中输入参数名称。

Cloudera-HBase最佳实践及优化

03-18

Cloudera 对 HBase最佳实践及优化介绍，权威出品，值得信赖。

Spark在CDH6.x平台上的部署与性能调优

# 第一章：介绍 ## 1.1 背景和意义 ...Cloudera的CDH6.x平台是基于开源软件构建的企业级大数据平台，包括Hadoop、HBase、Hive、Impala等多个组件，能够提供一系列完整的大数据解决方案。CDH6.x平台具有高可靠性

HBase在CDH6.x中的数据存储与访问优化

# 一、介绍 ## 1.1 HBase简介 HBase是一个分布式、面向列的开源数据库，构建在Hadoop文件系统上...## 1.2 CDH6.x版本概述 CDH（Cloudera Distribution Including Apache Hadoop）是由Cloudera打造的Hadoop生态系统发

Kafka消息系统在CDH6.x中的应用与优化

# 1. CDH6.x环境介绍 ### 1.1 CDH6.x的架构和特性 CDH6.x是Cloudera自家开发的一个大数据平台，采用分布式架构，具有以下特性： ...- 多样化的组件：CDH6.x内置了多种开源组件，如Hadoop、HBase、Spar

Cloudera-HBase最佳实践及优化.zip

11-09

Cloudera-HBase最佳实践及优化.zip Cloudera 对 HBase最佳实践及优化介绍，权威出品，值得信赖。

CDH优化(收藏篇)

ytp552200ytp的博客

08-21

1723

目录 1 测试环境参考方案 1.0 资源：集群服务安排 1.1 优化：Cloudera Management 1.2 优化：Zookeeper 1.3 优化：HDFS 1.4 优化：YARN + MapReduce 1.5 优化：Kafka 1.6 优化：HBase 1.7 优化：Hive 1.8 优化：Oozie、Hue、Solr、Spark 2 线上集群参考方案 2.0 资源：集群服务安排 2.1 优化：Cloudera Management 2.2 优化：Zookeepe.

hbase G1 GC优化

diaoxie5099的博客

09-01

271

本文借鉴之前HBaseConAsia2017，小米公司对hbase g1 gc的优化分享。此外还可以参考apache官方博客对于hbase g1 gc优化的一篇文章（Tuning G1GC For Your HBase Cluster） g1 gc的优化主要是对一些重要的参数进行调整，然后执行压力测试，分析G1的日志。G1日志处理可以使用HubSpot开发的一个Python工具, 叫做...

Hbase GC调优

qq_37706484的博客

10-18

656

CMS GC 并发标记清除算法打印日志信息 -verbose:gc -XX:+PrintGCDetails ## 输出GC详细日志 -XX:+PrintGCTimeStamps ## 输出GC的时间戳（以基准时间的形式） -XX:+PrintHeapAtGC...

HBase最佳实践－CMS GC调优（从gc本身参数调优）

weixin_33854644的博客

04-02

933

同志们，此部分，重要的不能再重要了1、HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。hbase gc调优方向从0.94版本提出MemStoreLAB策略、Memstore Chuck Pool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化，再到后续2.0版本宣称会引入更多堆外内...

HBase性能调优

豹先生

08-25

1753

配置优化zookeeper.session.timeout 默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Zookeeper从RS集群清单中移除，HMaster收到移除通知后

CDH6.3.2之YARN生产环境调优

zjjcchina的博客

09-29

603

调整YARN 本主题仅适用于YARN群集，并介绍如何为群集调整和优化YARN。注意：下载Cloudera YARN调整电子表格以帮助计算YARN配置。有关简短视频概述，请参阅调整YARN应用程序。概观此概述提供YARN群集的抽象描述和YARN调整的目标。 YARN群集由主机组成。主机提供内存和CPU资源。 vcore或虚拟核心是主机CPU的使用份额。调整YARN主要包括在工作主机上最佳地定义容器。您可以将容器视为由内存和vcores组成的矩形图。容器执行任务。有些任务使用大量

cdh6.2 yarn参数优化小记录(记录中)

永青技术博客

01-24

1438

一、闲扯最近离线行车日志数仓，项目即将基于Lambda架构形式，实时基于flink框架，离线批处理基于 HiveOnSpark。中期基于这个机构。最后版本定位FlinkSQL 批流一体化。测试环境基于阿里云搭建的CDH。目前准备跑一下测试的flin实时作业和spark作业。内存有限，所以做了相关调整。略记录一下二、正题 1、yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够.

CDH6.2调优总结