HBase 配置详解

HBase高可用集群踩坑总结以及hbase-site.xml配置文件分享 HBase高可用集群踩坑总结 最近在搭建HBase的高可用集群,看似不复杂的事情,前前后后在HMaster启动后会自动关闭(Master is initializing) 这件事上处理了好久。 究其原因一个是HBase集群中会出现的问题比较多,问题堆在一起的时候,刚开始接触HBase的朋友确不容易发现真正的问题在哪里,还有就是自己还是有点懒了,没有好好地去读官方的说明文档,其实官网上对一些参数的配置讲解的还是比较详细的。 下面总结一下这几天从入门到放弃到搭建成功踩过的一些坑。 注意: 我的这些方法比较适用于 阅读详情

文章转载自:http://blog.youkuaiyun.com/ningxuezhu/article/details/50547970 仅用于个人学习,收藏,作为资料备查,如需转载请注明原作者。

该文档是用hbase默认配置文件生成的,文件源是hbase-default.xml

hbase.rootdir

这个目录是region server的共享目录,用来持久化HBase。URL需要是’完全正确’的,还要包含文件系统的scheme。例如,要表示hdfs中的’/hbase’目录,namenode

运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000/hbase。默认情况下HBase是写到/tmp的。不改这个配置,数据会在重启的时候丢失。

默认:file:///tmp/hbase-${user.name}/hbase

hbase.master.port

HBase的Master的端口.

默认:60000

hbase.cluster.distributed

HBase的运行模式。false是单机模式,true是分布式模式。若为false,HBase和Zookeeper会运行在同一个JVM里面。

默认:false

hbase.tmp.dir

本地文件系统的临时文件夹。可以修改到一个更为持久的目录上。(/tmp会在重启时清楚)

默认: java.io.tmpdir/hbase− {user.name}

hbase.local.dir

作为本地存储,位于本地文件系统的路径。

默认: ${hbase.tmp.dir}/local/

hbase.master.info.port

HBase Master web 界面端口. 设置为-1 意味着你不想让他运行。

0.98 版本以后默认:16010

以前是 60010

hbase.master.info.bindAddress

HBase Master web 界面绑定的端口

默认:0.0.0.0

hbase.client.write.buffer

HTable客户端的写缓冲的默认大小。这个值越大,需要消耗的内存越大。因为缓冲在客户端和服务端都有实例,所以需要消耗客户端和服务端两个地方的内存。得到的好处是,可以减少RPC的次数。可以这样估算服务器端被占用的内存:

hbase.client.write.buffer

  • hbase.regionserver.handler.count

默认:2097152

hbase.regionserver.port

HBase RegionServer绑定的端口

0.98 以前默认:60020以后默认是:16020

hbase.regionserver.info.port

HBase RegionServer web 界面绑定的端口 设置为 -1 意味这你不想与运行 RegionServer 界面.

0.98

以前默认:60030以后默认是:16030

hbase.regionserver.info.port.auto

Master或RegionServer是否要动态搜一个可以用的端口来绑定界面。当hbase.regionserver.info.port已经被占用的时候,可以搜一个空闲的端口绑定。这个功能在测试的时候很有用。默认关闭。

默认:false

hbase.regionserver.info.bindAddress

HBase RegionServer web 界面的IP地址

默认:0.0.0.0

hbase.regionserver.class

RegionServer 使用的接口。客户端打开代理来连接region server的时候会使用到。

默认:org.apache.hadoop.hbase.ipc.HRegionInterface

hbase.client.pause

通常的客户端暂停时间。最多的用法是客户端在重试前的等待时间。比如失败的get操作和region查询操作等都很可能用到。

默认:1000

hbase.client.retries.number

最大重试次数。所有需重试操作的最大值。例如从root region服务器获取root region,Get单元值,行Update操作等等。这是最大重试错误的值。 Default: 10.

0.98

以前默认:10以后默认是:35

hbase.bulkload.retries.number

最大重试次数。 原子批加载尝试的迭代最大次数。 0 永不放弃。默认: 0.

默认: 0

hbase.client.scanner.caching

当调用Scanner的next方法,而值又不在缓存里的时候,从服务端一次获取的行数。越大的值意味着Scanner会快一些,但是会占用更多的内存。当缓冲被占满的时候,next方法调用会越来越慢。慢到一定程度,可能会导致超时。例如超过了hbase.regionserver.lease.period。

默认: 100

hbase.client.keyvalue.maxsize

一个KeyValue实例的最大size.这个是用来设置存储文件中的单个entry的大小上界。因为一个KeyValue是不能分割的,所以可以避免因为数据过大导致region不可分割。明智的做法是把它设为可以被最大region

size整除的数。如果设置为0或者更小,就会禁用这个检查。默认10MB。

默认:10485760

hbase.regionserver.lease.period

客户端租用HRegion server 期限,即超时阀值。单位是毫秒。默认情况下,客户端必须在这个时间内发一条信息,否则视为死掉。

默认:60000

hbase.regionserver.handler.count

RegionServers受理的RPC Server实例数量。对于Master来说,这个属性是Master受理的handler数量

默认:10

hbase.regionserver.msginterval

RegionServer 发消息给 Master 时间间隔,单位是毫秒

默认:3000

hbase.regionserver.optionallogflushinterval

将Hlog同步到HDFS的间隔。如果Hlog没有积累到一定的数量,到了时间,也会触发同步。默认是1秒,单位毫秒。

默认:1000

hbase.regionserver.regionSplitLimit

region的数量到了这个值后就不会在分裂了。这不是一个region数量的硬性限制。但是起到了一定指导性的作用,到了这个值就该停止分裂了。默认是MAX_INT.就是说不阻止分裂。

默认:2147483647

hbase.regionserver.logroll.period

提交commit log的间隔,不管有没有写足够的值。

默认:3600000

hbase.regionserver.hlog.reader.impl

HLog file reader 的实现.

默认:org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader

hbase.regionserver.hlog.writer.impl

HLog file writer 的实现.

默认:org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogWriter

hbase.regionserver.nbreservationblocks

储备的内存block的数量(译者注:就像石油储备一样)。当发生out of memory 异常的时候,我们可以用这些内存在RegionServer停止之前做清理操作。

默认:4

hbase.zookeeper.dns.interface

当使用DNS的时候,Zookeeper用来上报的IP地址的网络接口名字。

默认:default

hbase.zookeeper.dns.nameserver

当使用DNS的时候,Zookeepr使用的DNS的域名或者IP 地址,Zookeeper用它来确定和master用来进行通讯的域名.

默认:default

hbase.regionserver.dns.interface

当使用DNS的时候,RegionServer用来上报的IP地址的网络接口名字。

默认:default

hbase.regionserver.dns.nameserver

当使用DNS的时候,RegionServer使用的DNS的域名或者IP 地址,RegionServer用它来确定和master用来进行通讯的域名.

默认:default

hbase.master.dns.interface

当使用DNS的时候,Master用来上报的IP地址的网络接口名字。

默认:default

hbase.master.dns.nameserver

当使用DNS的时候,RegionServer使用的DNS的域名或者IP 地址,Master用它来确定用来进行通讯的域名.

默认:default

hbase.balancer.period

Master执行region balancer的间隔。

默认:300000

hbase.regions.slop

当任一区域服务器有average + (average * slop)个分区,将会执行重新均衡。默认 20% slop .

默认:0.2

hbase.master.logcleaner.ttl

Hlog存在于.oldlogdir 文件夹的最长时间, 超过了就会被 Master 的线程清理掉.

默认:600000

hbase.master.logcleaner.plugins

LogsCleaner服务会执行的一组LogCleanerDelegat。值用逗号间隔的文本表示。这些WAL/HLog

cleaners会按顺序调用。可以把先调用的放在前面。你可以实现自己的LogCleanerDelegat,加到Classpath下,然后在这里写下类的全称。一般都是加在默认值的前面。

默认:org.apache.hadoop.hbase.master.TimeToLiveLogCleaner

hbase.regionserver.global.memstore.upperLimit

单个region server的全部memtores的最大值。超过这个值,一个新的update操作会被挂起,强制执行flush操作。

默认:0.4

hbase.regionserver.global.memstore.lowerLimit

当强制执行flush操作的时候,当低于这个值的时候,flush会停止。默认是堆大小的

35% . 如果这个值和 hbase.regionserver.global.memstore.upperLimit

相同就意味着当update操作因为内存限制被挂起时,会尽量少的执行flush(译者注:一旦执行flush,值就会比下限要低,不再执行)

默认:0.35

hbase.server.thread.wakefrequency

service工作的sleep间隔,单位毫秒。 可以作为service线程的sleep间隔,比如log roller.

默认:10000

hbase.server.versionfile.writeattempts

退出前尝试写版本文件的次数。每次尝试由 hbase.server.thread.wakefrequency 毫秒数间隔。

默认: 3

hbase.hregion.memstore.flush.size

当memstore的大小超过这个值的时候,会flush到磁盘。这个值被一个线程每隔hbase.server.thread.wakefrequency检查一下。

默认:134217728

hbase.hregion.preclose.flush.size

当一个region中的memstore的大小大于这个值的时候,我们又触发了close.会先运行“pre-flush”操作,清理这个需要关闭的memstore,然后将这个region下线。当一个region下线了,我们无法再进行任何写操作。如果一个memstore很大的时候,flush操作会消耗很多时间。”pre-flush”操作意味着在region下线之前,会先把memstore清空。这样在最终执行close操作的时候,flush操作会很快。

默认:5242880

hbase.hregion.memstore.block.multiplier

如果memstore有hbase.hregion.memstore.block.multiplier倍数的hbase.hregion.flush.size的大小,就会阻塞update操作。这是为了预防在update高峰期会导致的失控。如果不设上界,flush的时候会花很长的时间来合并或者分割,最坏的情况就是引发out

of memory异常。(译者注:内存操作的速度和磁盘不匹配,需要等一等。原文似乎有误)

默认:2

hbase.hregion.memstore.mslab.enabled

体验特性:启用memStore分配本地缓冲区。这个特性是为了防止在大量写负载的时候堆的碎片过多。这可以减少GC操作的频率。(GC有可能会Stop the world)(译者注:实现的原理相当于预分配内存,而不是每一个值都要从堆里分配)

默认:true

hbase.hregion.max.filesize

最大HStoreFile大小。若某个列族的HStoreFile增长达到这个值,这个Hegion会被切割成两个。 默认: 10G.

默认:10737418240

hbase.hstore.compactionThreshold

当一个HStore含有多于这个值的HStoreFiles(每一个memstore flush产生一个HStoreFile)的时候,会执行一个合并操作,把这HStoreFiles写成一个。这个值越大,需要合并的时间就越长。

默认:3

hbase.hstore.blockingStoreFiles

当一个HStore含有多于这个值的HStoreFiles(每一个memstore flush产生一个HStoreFile)的时候,会执行一个合并操作,update会阻塞直到合并完成,直到超过了hbase.hstore.blockingWaitTime的值

默认:7

hbase.hstore.blockingWaitTime

hbase.hstore.blockingStoreFiles所限制的StoreFile数量会导致update阻塞,这个时间是来限制阻塞时间的。当超过了这个时间,HRegion会停止阻塞update操作,不过合并还有没有完成。默认为90s.

默认:90000

hbase.hstore.compaction.max

每个“小”合并的HStoreFiles最大数量。

默认:10

hbase.hregion.majorcompaction

一个Region中的所有HStoreFile的major compactions的时间间隔。默认是1天。 设置为0就是禁用这个功能。

默认:86400000

hbase.storescanner.parallel.seek.enable

允许 StoreFileScanner 并行搜索 StoreScanner, 一个在特定条件下降低延迟的特性。

默认: false

hbase.storescanner.parallel.seek.threads

并行搜索特性打开后,默认线程池大小。

默认: 10

hbase.mapreduce.hfileoutputformat.blocksize

MapReduce中HFileOutputFormat可以写

storefiles/hfiles.

这个值是hfile的blocksize的最小值。通常在HBase写Hfile的时候,bloocksize是由table

schema(HColumnDescriptor)决定的,但是在mapreduce写的时候,我们无法获取schema中blocksize。这个值越小,你的索引就越大,你随机访问需要获取的数据就越小。如果你的cell都很小,而且你需要更快的随机访问,可以把这个值调低。

默认:65536

hfile.block.cache.size

分配给HFile/StoreFile的block cache占最大堆(-Xmx setting)的比例。默认0.25意思是分配25%,设置为0就是禁用,但不推荐。

默认:0.25

hbase.hash.type

哈希函数使用的哈希算法。可以选择两个值:: murmur (MurmurHash) 和 jenkins (JenkinsHash). 这个哈希是给 bloom filters用的.

默认:murmur

hfile.block.index.cacheonwrite

在index写入的时候允许put无根(non-root)的多级索引块到block cache里,默认是false;

hfile.index.block.max.size:在多级索引的树形结构里,如果任何一层的block index达到这个配置大小,则block写出,同时

替换上新的block,默认是131072;

hfile.format.version

新文件的HFile 格式版本,设置为1来测试向后兼容,默认是2;

io.storefile.bloom.block.size

一个联合布隆过滤器的单一块(chunk)的大小,这个值是一个逼近值,默认是131072;

hfile.block.bloom.cacheonwrite

对于组合布隆过滤器的内联block开启cache-on-write,默认是false

hbase.rs.cacheblocksonwrite

当一个HFile block完成时是否写入block cache,默认是false

hbase.rpc.server.engine

hbase 做rpc server的调度管理类,实现自org.apache.hadoop.ipc.RpcServerEngine,默认是org.apache.hadoop.hbase.ipc.ProtobufRpcServerEngine

hbase.ipc.client.tcpnodelay

默认是true,具体就是在tcp socket连接时设置 no delay

hbase.master.keytab.file

HMaster server验证登录使用的kerberos keytab 文件路径。(译者注:HBase使用Kerberos实现安全)

默认:

hbase.master.kerberos.principal

例如. “hbase/_HOST@EXAMPLE.COM”. HMaster运行需要使用 kerberos principal name. principal name 可以在: user/hostname@DOMAIN 中获取. 如果 “_HOST”

被用做hostname portion,需要使用实际运行的hostname来替代它。

默认:

hbase.regionserver.keytab.file

HRegionServer验证登录使用的kerberos keytab 文件路径。

默认:

hbase.regionserver.kerberos.principal

例如. “hbase/_HOST@EXAMPLE.COM”. HRegionServer运行需要使用 kerberos principal name. principal name 可以在: user/hostname@DOMAIN 中获取.

如果 “_HOST” 被用做hostname portion,需要使用实际运行的hostname来替代它。在这个文件中必须要有一个entry来描述 hbase.regionserver.keytab.file

默认:

hadoop.policy.file

RPC服务器做权限认证时需要的安全策略配置文件,在Hbase security开启后使用,默认是habse-policy.xml;

hbase.superuser

Hbase security 开启后的超级用户配置,一系列由逗号隔开的user或者group;

hbase.auth.key.update.interval

Hbase security开启后服务端更新认证key的间隔时间:默认是86400000毫秒;

hbase.auth.token.max.lifetime

Hbase security开启后,认证token下发后的生存周期,默认是604800000毫秒

zookeeper.session.timeout

ZooKeeper

会话超时.HBase把这个值传递改zk集群,向他推荐一个会话的最大超时时间。详见http://hadoop.apache.org/zookeeper/docs/current/zookeeperProgrammers.html#ch_zkSessions

“The client sends a requested timeout, the server responds with the

timeout that it can give the client. “。 单位是毫秒

默认:180000

zookeeper.znode.parent

ZooKeeper中的HBase的根ZNode。所有的HBase的ZooKeeper会用这个目录配置相对路径。默认情况下,所有的HBase的ZooKeeper文件路径是用相对路径,所以他们会都去这个目录下面。

默认:/hbase

zookeeper.znode.rootserver

ZNode

保存的 根region的路径. 这个值是由Master来写,client和regionserver 来读的。如果设为一个相对地址,父目录就是

${zookeeper.znode.parent}.默认情形下,意味着根region的路径存储在/hbase/root-region-server.

默认:root-region-server

zookeeper.znode.acl.parent

root znode的acl,默认acl;

hbase.coprocessor.region.classes

逗号分隔的Coprocessores列表,会被加载到默认所有表上。在自己实现了一个Coprocessor后,将其添加到Hbase的classpath并加入全限定名。也可以延迟加载,由HTableDescriptor指定;

hbase.coprocessor.master.classes

由HMaster进程加载的coprocessors,逗号分隔,全部实现org.apache.hadoop.hbase.coprocessor.MasterObserver,同coprocessor类似,加入classpath及全限定名;

hbase.zookeeper.quorum

Zookeeper集群的地址列表,用逗号分割。例如:”host1.mydomain.com,host2.mydomain.com,host3.mydomain.com”.默认是localhost,是给伪分布式用的。要修改才能在完全分布式的情况下使用。如果在hbase-env.sh设置了HBASE_MANAGES_ZK,这些ZooKeeper节点就会和HBase一起启动。

默认:localhost

hbase.zookeeper.peerport

ZooKeeper节点使用的端口。详细参见:http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperStarted.html#sc_RunningReplicatedZooKeeper

默认:2888

hbase.zookeeper.leaderport

ZooKeeper用来选择Leader的端口,详细参见:http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperStarted.html#sc_RunningReplicatedZooKeeper

默认:3888

hbase.zookeeper.useMulti

Instructs

HBase to make use of ZooKeeper’s multi-update functionality. This

allows certain ZooKeeper operations to complete

more quickly and prevents some issues with rare Replication failure

scenarios (see the release note of HBASE-2611 for an example).

IMPORTANT: only set this to true if all ZooKeeper servers in the cluster

are on version 3.4+ and will not be downgraded. ZooKeeper

versions before 3.4 do not support multi-update and will not fail

gracefully if multi-update is invoked (see ZOOKEEPER-1495).

Default: false

hbase.zookeeper.property.initLimit

ZooKeeper的zoo.conf中的配置。 初始化synchronization阶段的ticks数量限制

默认:10

hbase.zookeeper.property.syncLimit

ZooKeeper的zoo.conf中的配置。 发送一个请求到获得承认之间的ticks的数量限制

默认:5

hbase.zookeeper.property.dataDir

ZooKeeper的zoo.conf中的配置。 快照的存储位置

默认:${hbase.tmp.dir}/zookeeper

hbase.zookeeper.property.clientPort

ZooKeeper的zoo.conf中的配置。 客户端连接的端口

默认:2181

hbase.zookeeper.property.maxClientCnxns

ZooKeeper的zoo.conf中的配置。 ZooKeeper集群中的单个节点接受的单个Client(以IP区分)的请求的并发数。这个值可以调高一点,防止在单机和伪分布式模式中出问题。

默认:300

hbase.rest.port

HBase REST server的端口

默认:8080

hbase.rest.readonly

定义REST server的运行模式。可以设置成如下的值: false: 所有的HTTP请求都是被允许的 - GET/PUT/POST/DELETE. true:只有GET请求是被允许的

默认:false

hbase.defaults.for.version.skip

Set

to true to skip the ‘hbase.defaults.for.version’ check. Setting this to

true can be useful in contexts other than the

other side of a maven generation; i.e. running in an ide. You’ll want

to set this boolean to true to avoid seeing the RuntimException

complaint: “hbase-default.xml file seems to be for and old version of

HBase (${hbase.version}), this version is X.X.X-SNAPSHOT”

Default: false

是否跳过hbase.defaults.for.version的检查,默认是false;

hbase.coprocessor.abortonerror

Set

to true to cause the hosting server (master or regionserver) to abort

if a coprocessor throws a Throwable object that

is not IOException or a subclass of IOException. Setting it to true

might be useful in development environments where one wants to terminate

the server as soon as possible to simplify coprocessor failure

analysis.

Default: false

如果coprocessor加载失败或者初始化失败或者抛出Throwable对象,则主机退出。设置为false会让系统继续运行,但是coprocessor的状态会不一致,所以一般debug时才会设置为false,默认是true;

hbase.online.schema.update.enable

Set

true to enable online schema changes. This is an experimental feature.

There are known issues modifying table schemas

at the same time a region split is happening so your table needs to be

quiescent or else you have to be running with splits disabled.

Default: false

设置true来允许在线schema变更,默认是true;

hbase.table.lock.enable

Set to true to enable locking the table in zookeeper for schema change operations. Table locking from master prevents concurrent

schema modifications to corrupt table state.

Default: true

设置为true来允许在schema变更时zk锁表,锁表可以组织并发的schema变更导致的表状态不一致,默认是true;

dfs.support.append

Does HDFS allow appends to files? This is an hdfs config. set in here so the hdfs client will do append support. You must

ensure that this config. is true serverside too when running hbase (You will have to restart your cluster after setting it).

Default: true

hbase.thrift.minWorkerThreads

The “core size” of the thread pool. New threads are created on every connection until this many threads are created.

Default: 16

线程池的core size,在达到这里配置的量级后,新线程才会再新的连接创立时创建,默认是16;

hbase.thrift.maxWorkerThreads

The maximum size of the thread pool. When the pending request queue overflows, new threads are created until their number

reaches this number. After that, the server starts dropping connections.

Default: 1000

顾名思义,最大线程数,达到这个数字后,服务器开始drop连接,默认是1000;

hbase.thrift.maxQueuedRequests

The maximum number of pending Thrift connections waiting in the queue. If there are no idle threads in the pool, the server

queues requests. Only when the queue overflows, new threads are added, up to hbase.thrift.maxQueuedRequests threads.

Default: 1000

Thrift连接队列的最大数,如果线程池满,会先在这个队列中缓存请求,缓存上限就是该配置,默认是1000;

hbase.offheapcache.percentage

The amount of off heap space to be allocated towards the experimental off heap cache. If you desire the cache to be disabled,

simply set this value to 0.

Default: 0

JVM参数-XX:MaxDirectMemorySize的百分比值,默认是0,即不开启堆外分配;

hbase.data.umask.enable

Enable, if true, that file permissions should be assigned to the files written by the regionserver

Default: false

开启后,文件在regionserver写入时会 有权限相关设定,默认是false不开启;

hbase.data.umask

File permissions that should be used to write data files when hbase.data.umask.enable is true

Default: 000

开启上面一项配置后,文件的权限umask,默认是000

hbase.metrics.showTableName

Whether

to include the prefix “tbl.tablename” in per-column family metrics. If

true, for each metric M, per-cf metrics will

be reported for tbl.T.cf.CF.M, if false, per-cf metrics will be

aggregated by column-family across tables, and reported for cf.CF.M. In

both cases, the aggregated metric M across tables and cfs will be

reported.

Default: true

是否为每个指标显示表名前缀,默认是true;

hbase.metrics.exposeOperationTimes

Whether to report metrics about time taken performing an operation on the region server. Get, Put, Delete, Increment, and

Append can all have their times exposed through Hadoop metrics per CF and per region.

Default: true

是否进行关于操作在使用时间维度的指标报告,比如GET PUT DELETE INCREMENT等,默认是true;

hbase.master.hfilecleaner.plugins

A

comma-separated list of HFileCleanerDelegate invoked by the

HFileCleaner service. These HFiles cleaners are called in order,

so put the cleaner that prunes the most files in front. To implement

your own HFileCleanerDelegate, just put it in HBase’s classpath and add

the fully qualified class name here. Always add the above default log

cleaners in the list as they will be overwritten

in hbase-site.xml.

Default: org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner

HFile的清理插件列表,逗号分隔,被HFileService调用,可以自定义,默认org.apache.hadoop.hbase.master.cleaner.TimeToLiveHFileCleaner

hbase.regionserver.catalog.timeout

Timeout value for the Catalog Janitor from the regionserver to META.

Default: 600000

regionserver的Catalog Janitor访问META的超时时间,默认是600000;

hbase.master.catalog.timeout

Timeout value for the Catalog Janitor from the master to META.

Default: 600000

Catalog Janitor从master到META的超时时间,我们知道这个Janitor是定时的去META扫描表目录,来决定回收无用的regions,默认是600000;

hbase.config.read.zookeeper.config

Set to true to allow HBaseConfiguration to read the zoo.cfg file for ZooKeeper properties. Switching this to true is not

recommended, since the functionality of reading ZK properties from a zoo.cfg file has been deprecated.

Default: false

让hbaseconfig去读zk的config,默认false,也不支持开启,这个功能很搞笑~~个人观点;

hbase.snapshot.enabled

Set to true to allow snapshots to be taken / restored / cloned.

Default: true

是否允许snapshot被使用、存储和克隆,默认是true;

hbase.rest.threads.max

The

maximum number of threads of the REST server thread pool. Threads in

the pool are reused to process REST requests. This

controls the maximum number of requests processed concurrently. It may

help to control the memory used by the REST server to avoid OOM issues.

If the thread pool is full, incoming requests will be queued up and wait

for some free threads. The default is 100.

Default: 100

REST服务器线程池的最大线程数,池满的话新请求会自动排队,限制这个配置可以控制服务器的内存量,预防OOM,默认是100;

hbase.rest.threads.min

The minimum number of threads of the REST server thread pool. The thread pool always has at least these number of threads

so the REST server is ready to serve incoming requests. The default is 2.

Default: 2

同上类似,最小线程数,为了确保服务器的服务状态,默认是2

作者:丝丝雨凉
链接:https://www.jianshu.com/p/3658b76f0d87
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

在Win10下配置hardoop和hbase 本文介绍在windows下配置hardoop和hbase: 目录 准备版本 配置环境 配置hadoop 配置hbase 参考资料 准备版本 Java:jdk1.8.0_231。 Hadoop:3.2.3。阿里云开源镜像站资源目录 Hbase:2.3.7。https://archive.apache.org/dist/hbase/2.3.7/hbase-2.3.7-bin.tar.gz JDK从Oracle官网下载,hadoop从阿里镜像站下载,hbase从apache存档中下载。Ha 阅读详情

相关推荐

Hbase安装配置

HBase安装配置 ①下载压缩包(选择与自己安装的Hadoop版本的兼容版本,见后面附录) 官网下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/ 选择稳定版hbase-1.4.9-bin.tar.gz,在Windows里面下载。 ②将压缩包从Windows传输到Linux当前目录下 SecureCRT 【File】→【Co...

sinat_39193763的博客 2516

【分布式数据库】hbase-site.xml 配置文件详解

<configuration xmlns:xi="http://www.w3.org/2001/XInclude"> <!-- Unix Socker 文件路径 --> <property> <name>dfs.domain.socket.path</name> <value>/var/lib/hadoop-hdfs/dn_socket</value> ...

康师傅没有眼泪 6633

hbase-site.xml.doc

主要是包括hbase-site.xml的详细理解,包括默认的配置情况。

hbase-site.xml 配置详解

该文档是用hbase默认配置文件生成的,文件源是 hbase-default.xml hbase.rootdir 这个目录是region server的共享目录,用来持久化HBase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的'/hbase'目录,namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://

鑫的专栏 4万+

marvell_88se_91XX_92XX_sata_6g_1201047_whql.zip

蜜罐超存J1900 6SATA 驱动。解决只识别4SATA的问题。WIN10 1909亲测可用。(仅供windows平台使用)

射频电路设计——射频器件基础

本文仅供自己复习使用,请勿转载! 射频电路制作方法 MCM工艺 CMOS工艺 趋肤效应、深度 频率越高趋肤效应越明显 高频器件 高频电阻 绕线的比贴片的多一个电感,是因为绕线的因为是线绕制的,只有有线就会有电感,所以绕线电阻等效模型会比贴片的多一个电感 多晶硅电阻模型 深线性区MOS电阻 高频电阻的频率响应 记忆的话就后面的频率特性有点像电容的 高频电容 作用 单层贴片式电容 多层贴片式电容 MIM电容 MOM电容 由于是并联的,所以总的电容值是单个的直接相加 PN结电容 M.

输出每日所学,供大家学习使用 7153

HBase配置项详解

HBase配置项详解 来源:https://www.cnblogs.com/qinersky902/p/6217741.html hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase−java.io.tmpdir/hbase−{user.name}; hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hba...

hsg77的专栏 3674

国产大模型高考横评:数学推理与教育落地能力实测

大模型能力评估正从开放榜单转向封闭任务的确定性验证,高考作为强逻辑、低容错、高精度的标准化考试,成为检验模型真实推理能力的理想标尺。其核心在于考察知识覆盖、步骤完整性、单位敏感性与教学对齐度,而非单纯答案正确率。数学解答题尤其凸显模型在前提校验、条件枚举与过程可控性上的差异,反映出训练数据与教育语料深度耦合带来的工程化优势。该范式已延伸至语文语感建模、英语表达习惯适配及理综跨学科缝合等场景,为智能阅卷、精准答疑和教培系统集成提供可复现、可解释、可部署的技术依据。

weixin_30436581的博客 288

hbase配置部署

确保hadoop集群zookeeper集群都是启动状态:jps(如果没启动就start-all.sh)解压安装包:tar -zxvf hbase-2.2.3-bin.tar.gz。进入hbase下的conf,配置:vi hbase-env.sh。让环境变量生效:source /etc/profile。改名:mv hbase-2.2.3 hbase。添加环境变量:vi /etc/profile。配置文件:vi hbase-site.xml。启动hbase:start-hbase.sh。

2402_85053390的博客 1417

B站充电视频下载器(需配合会员Cookie使用,仅供学习交流,Python)

这个程序是一个用于下载B站充电视频的工具,依赖于用户提供的会员Cookies。

qq_40753021的博客 2万+

MacOS下微信小程序源码提取与逆向实战:从找到.wxapkg到完整还原

本文详细介绍了在MacOS系统下进行微信小程序源码提取与逆向分析的完整实战流程。从定位沙盒机制中的.wxapkg缓存文件,到搭建Node.js环境与配置wxappUnpacker工具链,再到执行核心反编译命令并处理分包等复杂情况,提供了清晰的操作步骤。文章还汇总了Node版本、依赖缺失、文件乱码等常见问题的解决方案,旨在帮助开发者、安全研究人员高效完成小程序安全审计与学习。

weixin_29246195的博客 1605

Hbase的安装与配置

安装配置Hbase

m0_72168501的博客 1万+

基于Simulink的永磁同步电机(PMSM)无位置传感器矢量控制与龙伯格观测器设计​

本文介绍了基于Simulink的永磁同步电机(PMSM)无位置传感器矢量控制方法,重点讲解了龙伯格观测器的设计与实现。主要内容包括:1)系统架构与数学推导,通过静止坐标系状态方程和极点配置构建观测器;2)Simulink建模步骤,从电机模型搭建到观测器核心代码实现;3)仿真结果对比分析,显示龙伯格观测器相比滑模观测器具有更好的平滑性和抗噪能力;4)工程部署建议,包括参数在线辨识、低速补偿策略和代码生成优化。该方法实现了全速域无感运行,稳态转速误差小于1%,为低成本高可靠性电机控制提供了有效解决方案。

amy_mhd的博客 162

Hbase配置

Hbase官方手册-配置 褚金辉 2017-11-09 18:47:15 3482 收藏 分类专栏: hbase HDFS hadoop hadoop 文章标签: hbase hadoop 学过上一章快速入门之后,本章详细的介绍hbase的配置。请仔细的阅读本章节,尤其是基本先决条件,保证HBase测试和部署的正常工作,预防数据丢失 配置文件 hbase和hadoop使用相同的配置系统。所有的配置文件在conf目录下,集群中所有节点中的配置必须保持同步,所有的配置文件如下: backup-masters

独孤飞磊 1624

提示工程架构师干货:AI上下文工程在社交媒体舆情溯源中的应用

在舆情溯源中,“上下文”不是单一的“文本内容”,而是多维度、多源的信息集合溯源时间:从事件爆发到找到源头,只用了24小时(传统方法需要3-5天);溯源准确性:100%(通过人工验证确认);后续行动:品牌X发布了澄清声明,揭露了品牌Y的恶意行为,舆情在48小时内平息。社交媒体舆情溯源是一个“复杂的系统工程”,需要结合数据、模型、上下文理解。AI上下文工程的出现,让我们从“被动应对”转向“主动溯源”,从“模糊判断”转向“精准分析”。

Java大师兄的博客 813

高级电机控制场景实例:基于Simulink的永磁同步电机基于Luenberger观测器的弱磁控制仿真

本文基于Simulink实现表贴式永磁同步电机(SPMSM)的Luenberger观测器弱磁控制仿真,通过构建“观测-弱磁-控制”协同逻辑,突破传统矢量控制的基速限制。利用线性化模型设计观测器实时估计电流与磁链,结合电压极限约束动态注入负d轴电流,实现转速扩展至12000rpm(4倍基速),弱磁区电流THD低于3%,动态响应时间小于5ms,验证了高速运行下系统稳定性与鲁棒性。附完整建模步骤、MATLAB函数代码及性能分析,适用于电动汽车、机床等高速驱动场景,为高级电机控制提供可复现的技术范式。

amy_mhd的博客 32

Hbase单机安装配置

概述 HBase – Hadoop Database是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,hbase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的h...

常年被追砍的博客 1746

【气候极端指数】MATLAB计算各种气候极端指数

简介各类气候极端指数,及其MATLAB计算代码

WW、forever的博客 4918

hbase.rootdir 配置_详细解析 HBASE 配置的各种要点

文章更新于:2020-04-06安装惯例,需要的文件附上链接放在文首。文件名:hbase-2.2.4-bin.tar.gz文件大小:213.24 MB下载链接:http://download.csdn.net/downloadSHA256: EC91B628352931E22A091A206BE93061B6BF5364044A28FB9E82F0023ACA3CA4一、下载 HBASE 2.2....

weixin_29726381的博客 4494

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

hbase安装与配置详解_企业十大应用-Hbase-配置详解

版本:0.94-cdh4.2.1hbase-site.xml配置hbase.tmp.dir本地文件系统tmp目录,一般配置成local模式的设置一下,但是最好还是需要设置一下,因为很多文件都会默认设置成它下面的线上配置 hbase.tmp.dir /mnt/dfs/11/hbase/hbase-tmp默认值:${java.io.tmpdir}/hbase-${user.name}写到系统的/tmp...

weixin_39564617的博客 260

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

hbase.rootdir 配置_HBase 默认配置说明

HBase默认配置说明(收藏版)hbase.rootdir这个目录是regionserver的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的'/hbase'目录,namenode运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000/hba...

weixin_39846898的博客 202

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Linux安装配置HBase

安装配置HBase 一、环境准备: Linux安装配置hadoop Linux下安装zookeeper 二、正式开始 1.到《官网》下载HBase 2.使用cd /usr命令,进入到usr下,并使用ls查看 3.并使用mkdir hbase命令,创建一个hbase目录,使用ls查看是否创建成功(一般没毒的话,应该都会创建成功(๑→ܫ←)) 4.将下载好的文件上传到linux环境中,准确说是上一步建好的java目录下,方法有三: (1)可以使用XShell中的sudo rz的命令上传,但是有的可

qq_43540354的博客 4105

zookeeper和Hbase的安装配置

希望所分享的内容对您有所启发,期待未来能再次与您交流。

m0_74216612的博客 1589

hbase 安装配置

第一步: 官网查找匹配zookeeper的hbase安装包,下载安装包, 我是用的是hbase-1.2.6.1 解压到合适位置,我的路径是/opt/modules/ tar -zxf hbase-0.94.6.tar.gz /opt/modules/ 第二步:配置相关的文件(1)配置hbase-env.sh,该文件在/opt/modules/hbase-1.2.6.1/...

Q41881106的博客 574

Hbase安装及配置

实验目的: (1)熟悉Hadoop相关操作。 (2)掌握虚拟机上Hbase的安装方法并可以熟练安装Hbase。 实验要求: (1)根据Hadoop版本安装合适的Hbase。 (2)安装好hbase后进入hbase熟悉数据库相关操作。 (1)在官网下载Hadoop对应的Hbase的版本,下载完成之后,进行解压,并将其解压之后的结果传输到虚拟机内/opt/modules文件夹下。这些截图是我第一次装的时候的版本,建议大家换成高一些的版本,这个版本有点低了。 其中,把hbase-重命名为hbase,方便后续.

sun7_9的博客 9228

HBase安装配置

本文详细介绍了HBase的安装配置与使用实践。主要内容包括:1) HBase的三种运行模式(单机、伪分布式、分布式)的安装配置过程;2) HBase基本操作命令,包括创建表、增删改查数据等;3) Java API编程实践,展示了通过代码连接HBase、创建表、插入和查询数据的完整流程。文中提供了详细的配置文件修改示例和操作命令,并强调了分布式部署时的注意事项,如服务器时间同步、配置文件分发等。最后给出了验证HBase是否正常运行的方法。

2401_86886401的博客 821
上一篇: 完全卸载HDP和Ambari
下一篇: HBae找不到协处理器导致RegionServer全部挂掉
Ronney-Hua
博客等级 码龄10年 48粉丝 74原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值