Hbase 0.96 客户端配置项说明

本文介绍了Hbase 0.96版本的客户端配置细节,包括核心配置、连接管理及性能优化等方面,为实际生产环境提供参考。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

org.apache.hadoop.hbase.HConstants
默认项默认值值备注
编码方式UTF-8
默认block大小64kbHFile’s default size
key含义默认值
hbase.zookeeper.recoverable.waittimezookeeper恢复的等待时间10000
hbase.zookeeper.property.maxClientCnxnszookeeper并发连接限制300
zookeeper.session.timeoutzookeeper会话超时时间180 * 1000
hbase.zookeeper.useMulti是否使用ZK的multi-update操作(多个原子操作合并,保证结果的一致性)false
hbase.regionserver.portregion server监听端口60020
hbase.regionserver.info.port默认的regionserverin信息端口60030
hbase.server.thread.wakefrequency线程唤醒频率10 * 1000
hbase.server.versionfile.writeattempts多久写入版本文件,失败前3
hbase.hstore.compaction.kv.max批量flush/compaction的最大KV数10
hbase.client.ipc.pool.typeHbase客户端IPC Pool类型PoolType.RoundRobin(循环)
hbase.client.ipc.pool.sizeHbase客户端IPC Pool大小1
hbase.client.operation.timeoutHbase客户端操作超时时间(覆盖RPC超时时间)Integer.MAX_VALUE
hbase.client.meta.operation.timeoutHbase客户端操作超时时间(覆盖RPC超时时间)Integer.MAX_VALUE
hbase.hregion.max.filesize切分的region最大文件大小10 * 1024 * 1024 * 1024
hbase.hstore.open.and.close.threads.max打开/关闭存储或并行存储的线程数1
hbase.hregion.edits.replay.skip.errors跳过错误重编辑false
hbase.client.scanner.max.result.sizescan最大的字节数Long.MAX_VALUE
hbase.client.pause一次get失败或region搜寻之后客户端暂停时间(失败睡眠时间)100
hbase.client.max.total.tasks客户端维护的最大并发连接100
hbase.client.max.perserver.tasks客户端对于一个regionserver维护的最大并发连接2
hbase.client.max.perregion.tasks客户端对于一个region维护的最大并发连接1
hbase.server.pause失败操作后的重试等待时间1000
hbase.client.retries.number客户端重试次数31
hbase.client.prefetch.limit预取的region个数限制10
hbase.client.scanner.caching所有客户端的默认scan缓存行数rows100
hbase.meta.scanner.caching元数据表(hbase:meta)的scan缓存行数rows100
hbase.client.scanner.timeout.period客户端scan超时时间60000 ms
hbase.rpc.timeouthbase rpc超时时间60000
hbase.rpc.shortoperation.timeoutrpc短操作超时时间10000
hbase.client.write.buffer客户端写入数据缓冲区2097152≈2M
hbase.client.keyvalue.maxsize客户端最长的keyvalue值-1(不限制)
hbase.ipc.client.connection.maxidletime客户端连接最大空闲时间10000(10s)
hbase.ipc.client.connect.max.retries客户端连接最大重试次数0
hbase.ipc.client.tcpnodelaytcp无延迟true
hbase.ipc.client.tcpkeepalivetcp保活true
ipc.ping.interval客户端ping频率60000(1 min)
ipc.socket.timeout发起连接超时时间20000(20s)

我们系统在生产上的配置如下,仅供参考

Configuration configuration = new Configuration();
configuration.set("hbase.zookeeper.quorum", quorum);
configuration.set("hbase.client.scanner.caching", "500");// 所有客户端的默认scan缓存时间, 默认100

configuration.set("hbase.client.pause", "50");// 失败重试时等待时间, 默认100
configuration.set("hbase.rpc.timeout", "2000");// 一次RPC请求的超时时间, 默认60000
configuration.set("hbase.client.operation.timeout", "3000");// 客户端发起一次数据操作直至得到响应之间总的超时时间, 默认Integer.MAX_VALUE(一次阻塞操作)
configuration.set("hbase.client.retries.number", "3");// 重试次数3次,默认31
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值