HBase keyvalue大小导致OOM

最新推荐文章于 2024-07-19 19:44:09 发布
最新推荐文章于 2024-07-19 19:44:09 发布 · 1k 阅读 · 0
文章标签：

#hbase oom

在HBase上传时，会通过配置参数hbase.client.keyvalue.maxsize来检查是否符合要求，如果没有设置此值，那么HBase不会限制大小 ，如果是这样，可以会在compact时候一次加载导致OOM。
可能的解决办法是设置一个合适的值给hbase.client.keyvalue.maxsize。
记录一次 Hbase 线上问题的分析和解决,并分析总结下背后的知识点 - KeyValue size too large...
明哥的IT随笔
12-12 2818
大家好，我是明哥！本篇文章，我们回顾一次 hbase 线上问题的分析和解决 - KeyValue size too large，总结下背后的知识点，并分享一下查看开源组件不同版本差异点的方...
HBase+Spark：构建高性能内存计算平台
AI天才研究院
09-26 1078
HBase+Spark的组合是大数据实时分析的黄金搭档HBase解决了“实时数据存储”的问题，提供低延迟的读写能力；Spark解决了“高性能计算”的问题，利用内存计算提升分析效率；两者的集成通过HBase Spark Connector实现，支持高效的读写与优化操作。理解HBase的存储模型（LSM树、Region）与Spark的计算模型（RDD、DAG）；熟练使用HBase Spark Connector的读写API；
region server 中的OOM原因
weixin_30687811的博客
11-25 209
首先要清楚reginserver中内存是如何使用的。 reginserver中内存总体分成三部分：blocksize专供读使用的内存，memstore供读写使用的内存，其它内存。 其中前两者的大小在配置中分别通过hfile.block.cache.size以及hbase.regionserver.global.memstore.upperLimit来控制，两者的...
flink 写hbase 报KeyValue size too large 异常
m0_65850671的博客
10-11 1252
hbase 报KeyValue size too large 异常
HBase 查询导致RegionServer OOM故障复盘
weixin_30387799的博客
01-24 323
背景：我司作为某运营商公司的技术咨询公司，发现有第三方开发公司在使用HBase 1.1.2 （HDP 2.4.2.258版本）一段时间使用正常后，从某一天开始报OOM，从而导致RegionServer宕机。 故障排查步骤 查看 regionserver的log和stdout。由于是突然宕机，log没有任何error信息，stdout 因为自动拉起以及默认启动脚本是重定向覆盖，...
HBase：不同KeyValue之间如何进行大小比较，为什么Timestamp新的大，反而比较小?
小蚯蚓的博客
05-16 681
一、疑难描述 学习范欣欣大佬Hbase的读取流程博客，将本地HFile通过StoreFileScanner和MemstoreScanner合并形成一个heap（最小堆），所谓heap是一个优先级队列，队列中元素是所有scanner，排序规则按照scanner seek到的keyvalue大小由小到大进行排序。但是，对keyvalue大小排序规则有些疑问，博客中提及：不同KeyValue之间如何进行大小比较？是采用如下策略： 上文提到KeyValue中Key由RowKey，ColumnFamily，Qua
Hbase pe 压测 OOM问题解决
小谷的博客
07-31 1071
hbase pe 压测的时候oom
HBase 进阶
功不唐捐，玉汝于成
07-19 1183
HBase进阶，Master 架构、RegionServer 架构、文件合并以及Region切分
Hbase基础概念
m0_57697768的博客
07-25 3481
HBase组成架构，Master,RegionServer；HBase读写流程，HFile文件结构，布隆过滤器
HBase MOB简介以及使用
flyingbird
05-11 1375
背景 视图数据现在发展都比较快，数据量也越来越多，数据价值也越来越大，通过数据挖掘分析，可以产生越来越多的价值。所以这种大对象的存储需求也越来越多，HBase 2.0 发布了很多新的特性，其中一个非常值得关注的是中等对象存储的特性，即 HBase MOB（Medium Object Storage）特性。HBase 2.0 MOB的引入（由HBASE-11339这个issue引入），扩宽了HBase在人工智能、物联网等领域的应用场景。 最近公司也在考虑切换对象存储策略，由之前的ceph转变为HBase
hbase中regionserver常见的oom原因分析
蓝色时分
09-15 876
首先要清楚reginserver中内存是如何使用的。 reginserver中内存总体分成三部分：blocksize专供读使用的内存，memstore供读写使用的内存，其它内存。 其中前两者的大小在配置中分别通过hfile.block.cache.size以及hbase.regionserver.global.memstore.upperLimit来控制，两者的...
[OOM] hbase堆外内存溢出底层定位
二狗家有矿
03-12 911
下文所说的 hbase client 版本，如无特指，则皆为 1.2.3。 之前项目中出现堆外内存溢出（排查过程），虽然已经解决了问题，但当时没有深究底层的原理，最近抽空从底层入手，深入研究了 hbase client 读写源码，配合 jmeter 压测特定接口，并使用 mat 等工具分析，最终定位到了 hbase 堆外内存溢出的根本原因，本次就梳理下完整的过程，以及涉及的一些原理，防止以后踩坑。 一.溢出现象 单台服务器刚发布时 java 进程占用3g，以一天5%...
Hbase参数调优
qq_32168087的博客
05-31 795
注: 前面两个是在hbase-env.sh文件中，其它的都是hbase-site.xml中 HBase Master Maximum Java heap size Hmaster进程最大使用堆空间大小，默认1G，如果内存充裕可调到2-4G RegionServers maximum Java heap size RegionServer进程最大使用堆空间大小，默认2G,Cloudera专家建议内存...
向Hbase插入时，报错java.lang.IllegalArgumentException: KeyValue size too large的解决办法
ademocracy的博客
08-01 538
向Hbase插入时，报错java.lang.IllegalArgumentException: KeyValue size too large的解决办法使用configuration对象修改此配置 使用configuration对象修改此配置 “hbase.client.keyvalue.maxsize”: “524288000” 完整配置： conf = {“hbase.zookeeper.qu...
hbase.client.keyvalue.maxsize的默认值
weixin_33805992的博客
12-15 1563
hbase的列族的最大值是在hbase配置里的hbase.client.keyvalue.maxsize，默认大小为10M，即 10485760 。 http://eclecl1314-163-com.iteye.com/blog/1463576   一直使用hbase作大容量存储，因为hbase易于存取。今天，在录入数据的时候，突然报出一个KeyValue size too large...
hbase上传大文件遇到的错误
persistence勿忘初心
07-08 8578
1.本地运行环境Java heap space （1）idea配置-Xms6024m -Xmx6024m -XX:MaxPermSize=6024m （2）windows 执行 mvn install 出现 java.lang.OutOfMemoryError: Java heap space 配置环境变量:MAVEN_OPTS =-Xms512m -Xmx1024m 然后在 path中加入%MAVEN_OPTS% （3）IDEA 打包出现...
解决HBase一个cell存储超10M的异常
z1987865446的博客
07-15 5382
解决Hbase KeyValue size too large或 Cell with size 25000046 exceeds limit of 10485760 bytes at的异常。 ​HBase默认一个cell(单元格)只能存10M，有一些需求一个cell存大于10M的数据，比如将BitSet、BitMap对象存在HBase上。BitSet或BitMap存一亿个整数只需要11.9M，如存Integer需要381M，总之就是能节省很多空间。下一篇文章会讲BitSet、BitMap的算法这里就不多
hbase导入数据过多问题
lin的专栏
03-01 2026
17:54:10.768 [hconnection-0xfca67ce-shared--pool1-t1169] WARN o.a.hadoop.hbase.client.AsyncProcess - #149, table=CDR_QUALITY_ROWKEY, attempt=1/35 failed=1ops, last exception: org.apache.hadoop.hbase.D...
Hbase配置项粗解
木子一个Lee的博客
10-30 1580
hbase.client.write.buffer：htable客户端写缓冲区大小，默认是2097152BYTE，这个缓冲区就是为了写数据的临时存放，设置大了，浪费客户端和服务端的存储，设置小了，如果写的数据多，太多的RPC又带来网络开销，官方给的一个服务端存储耗费评估计算是：hbase.client.write.buffer*hbase.regionserver.handler.count，服务端的rs的处理handler个数也很关键；也可以延迟加载，由HTableDescriptor指定；
hbase测试构造400G数据
最新发布
10-18
<think>首先，用户想要在HBase中构造400G的测试数据。我需要参考系统级指令和用户的上一次问题。 系统级指令： - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如:[^1] 用户提供的引用： - 引用[1]: 提到了压缩率计算和I/O时间计算公式的例子，涉及日志大小计算。 - 引用[2]: 描述了一些文件结构，如brunch-config、package.json等，似乎与网页开发相关。 这些引用看起来不直接与HBase测试数据相关。用户说“上述引用仅供参考，并不是用户真正的需求”，所以我应该忽略这些引用，除非有相关部分。用户强调“请尽可能多的参考用户上一次的问题和你的回答”，但在这个对话中，这是第一个提示，所以没有上一次问题。我需要专注于当前查询。 用户查询：如何在HBase中构造400G测试数据。 我的回答需要： - 结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 - 使用中文。 - 在结尾生成相关问题。 - 正确使用数学表达式格式（如果有数学内容）。 内容计划： - 解释在HBase中生成测试数据的方法。 - 常见的工具：HBase自带的工具如HBase的Perf工具或第三方工具。 - 步骤： 1. 设计表结构。 2. 选择数据生成工具。 3. 生成数据。 4. 加载到HBase。 - 估计数据大小：400G，涉及行数、列大小等。 - 参考压缩（因为用户提到的引用中有压缩率），但在HBase中，数据压缩是常见的，但生成数据本身可能不需要压缩。 在引用[1]中，有数学表达式：$H_{\text{col}} = 100万 \times \log_2 2 = 100万位 = 125,000字节$ 和压缩率计算。我可以自然地融入一些数学内容，比如在估计数据大小时使用数学表达式。 例如，计算需要多少行数据： - 假设每行数据大小。 - 然后计算总行数。 在HBase中，数据大小取决于行数和列族大小。 典型方法： - 使用HBase的Perf工具：`hbase org.apache.hadoop.hbase.PerformanceEvaluation` 可以生成测试数据。 - 另一个工具是`hbase org.apache.hadoop.hbase.mapreduce.RowCounter` 或其他MapReduce作业。 - 或者使用HBase Shell或API，但对于400G，推荐使用批量工具。 步骤： 1. **设计表结构**：定义表名、列族等。 2. **生成数据**：使用工具如 `PerformanceEvaluation` 或自定义MapReduce作业。 - 例如，`hbase org.apache.hadoop.hbase.PerformanceEvaluation randomWrite 1000000` 会生成数据。 - 需要调整参数以生成400G。 3. **估计数据量**：计算需要多少行。 - 假设每行大小：如果每行1KB，需要400,000,000行（因为400G = 400 * 1024^3 bytes ≈ 429,496,729,600 bytes）。 - 每行大小：取决于列数和列大小。 - 数学：$$ \text{总行数} = \frac{\text{总大小}}{\text{平均行大小}} $$ - 平均行大小，例如 $s$ bytes，那么行数 $n = \frac{400 \times 10^9}{s}$。 4. **工具使用**： - PerformanceEvaluation：设置numRows和valueSize。 - 或者使用YCSB（Yahoo! Cloud Serving Benchmark），一个常用的基准测试工具。 5. **注意事项**：HBase集群大小、压缩设置等。 在回答中自然地添加引用：由于用户提供了引用[1]和[2]，我可以尝试融入，但引用[1]是关于压缩的，引用[2]似乎无关。或许在讨论数据压缩时提到引用[1]。 用户引用[1]有例子：H_col计算，类似信息熵。在HBase中，压缩率可以类似讨论。 生成相关问题： 在结尾，列出3-4个相关问题。 回答结构： - 介绍：简要解释方法。 - 步骤：逐步指导。 - 数学计算：融入数学表达式。 - 结尾：生成相关问题。 使用中文。 最终响应： - 开头：直接回答。 - 主体：详细步骤。 - 结尾：相关问题。 </think>以下是针对如何在HBase中构造400G测试数据的详细解答。我将逐步解释方法，确保内容清晰、可靠。构造测试数据在HBase中通常涉及设计表结构、选择数据生成工具、估计数据大小，并执行生成过程。HBase本身提供了内置工具（如`PerformanceEvaluation`），也支持第三方工具（如YCSB），能高效生成大规模数据。我将结合实际步骤说明，必要时融入数学计算来估算参数（如行数和大小），所有数学表达式均遵循系统指令使用$...$或$$...$$格式。 ### 步骤1: 设计表结构和数据模型 在生成数据前，定义清晰的表结构是关键。HBase的数据模型基于行键、列族和列限定符。以下是通用建议： - **表名**：例如 `test_table`。 - **列族**：建议使用1-2个列族（如 `cf1`），以避免性能问题。每个列族可存储多个列。 - **行键设计**：使用随机或顺序行键（如哈希ID），确保数据均匀分布。示例行键格式：`row<数字>`。 - **数据类型**：生成的数据可以是随机字节、字符串或模拟真实数据（如用户信息）。HBase存储数据为字节数组，无需指定类型。 数据大小估计： 要生成400G数据，需要计算所需行数。假设平均行大小（包括行键、列族和所有列的值）为 $s$ 字节。总数据大小 $S_{\text{总}} = 400 \times 1024^3$ 字节（因为 $1G = 1024^3$ 字节）。那么，行数 $n$ 可通过以下公式计算： $$ n = \frac{S_{\text{总}}}{s} $$ 例如： - 如果 $s = 1000$ 字节（1KB），则 $n = \frac{400 \times 1073741824}{1000} \approx 429,496,730$ 行（$400 \times 1024^3 = 429,496,729,600$ 字节）。 - 如果 $s$ 更大（如10KB），行数相应减少。您可以根据实际场景调整 $s$。压缩设置会影响实际存储大小（HBase支持Snappy或GZIP压缩），但生成的数据本身是原始大小[^1]。 ### 步骤2: 选择数据生成工具 HBase提供内置工具来生成测试数据，推荐使用以下方法（确保HBase集群已启动）： #### 方法1: 使用HBase内置的`PerformanceEvaluation`工具 这是最直接的方法，通过Hadoop MapReduce作业生成数据。命令格式： ```bash hbase org.apache.hadoop.hbase.PerformanceEvaluation randomWrite <numRows> -D value.size=<valueSize> -D compression=<compressionType> ``` - **参数说明**: - `<numRows>`: 总行数，根据步骤1的公式计算。例如，若 $s = 1000$ 字节，设置 `numRows=430000000`（略高于估算值以覆盖元数据）。 - `<valueSize>`: 每行值的大小（字节），通过 `-D value.size=<size>` 指定。例如，`-D value.size=1000` 表示每行值约1000字节（行键和列族开销额外约50-100字节）。 - `<compressionType>`: 可选压缩类型（如 `-D compression=SNAPPY`），压缩可以减少存储空间，但不影响生成过程。压缩率类似引用示例，如 $ \text{压缩率} = \frac{\text{原始大小}}{\text{压缩后大小}} $[^1]。 - **生成400G示例命令**: ```bash # 假设平均行大小 s ≈ 1000 字节，则 numRows ≈ 429496730 hbase org.apache.hadoop.hbase.PerformanceEvaluation randomWrite 430000000 -D value.size=950 -D compression=NONE ``` - 解释：`value.size=950` 确保加上行键等后接近1000字节。工具会自动创建表并写入数据。 - 监控：运行后，检查HBase Web UI或日志确认数据量（`hbase hbck -details` 可验证表大小）。 #### 方法2: 使用YCSB (Yahoo! Cloud Serving Benchmark) YCSB是更灵活的第三方工具，支持HBase，适合自定义数据模式： 1. **安装YCSB**: ```bash git clone https://github.com/brianfrankcooper/YCSB.git cd YCSB mvn clean package ``` 2. **配置数据生成**: - 编辑 `workloads/workloada`（示例配置文件），设置： ```properties recordcount=430000000 # 行数，同步骤1估算 fieldcount=10 # 每行列数 fieldlength=100 # 每列值长度（字节），则平均行大小 s ≈ fieldcount * fieldlength + 行键 ≈ 1000 字节 ``` - 在 `hbase-binding/conf/hbase-site.xml` 中添加HBase集群配置。 3. **生成数据**: ```bash ./bin/ycsb load hbase -P workloads/workloada -p table=test_table -p columnfamily=cf1 ``` - 此命令加载数据到HBase表，生成速度取决于集群规模。 #### 备选方法: 自定义MapReduce作业 如果数据需特定格式，编写简单MapReduce作业： - 使用`HBase`的`Put` API在Mapper中生成随机数据。 - 示例代码（Java）: ```java public class GenerateData extends Configured implements Tool { public static class Map extends Mapper<LongWritable, Text, ImmutableBytesWritable, Put> { public void map(LongWritable key, Text value, Context context) { // 生成随机行数据，平均大小 s 字节 byte[] rowKey = Bytes.toBytes("row" + RandomStringUtils.randomNumeric(10)); Put put = new Put(rowKey); byte[] data = new byte[1000]; // 示例值大小 new Random().nextBytes(data); put.addColumn(Bytes.toBytes("cf1"), Bytes.toBytes("col1"), data); context.write(new ImmutableBytesWritable(rowKey), put); } } public int run(String[] args) throws Exception { Job job = Job.getInstance(getConf(), "Generate400GData"); job.setJarByClass(GenerateData.class); job.setMapperClass(Map.class); TableMapReduceUtil.initTableReducerJob("test_table", null, job); job.setNumReduceTasks(0); FileInputFormat.setInputPaths(job, new Path("dummy")); // 虚拟输入 System.exit(job.waitForCompletion(true) ? 0 : 1); return 0; } } ``` - 编译后运行：`hadoop jar your-jar.jar GenerateData -D mapreduce.job.maps=100`（设置Mapper数加速生成）。 ### 步骤3: 验证和优化 - **验证数据大小**：使用HBase Shell检查： ```bash hbase shell > count 'test_table', INTERVAL => 1000000 # 估计行数 > status 'detailed' # 查看表大小（应接近400G） ``` - **性能优化**： - **集群规模**：400G数据建议至少3-5个RegionServer，每个配置足够内存（如32G HEAP）。 - **预分区**：创建表时预分区避免热点，例如： ```bash create 'test_table', 'cf1', {NUMREGIONS => 10, SPLITALGO => 'HexStringSplit'} ``` - **压缩**：启用压缩减少存储（如 `alter 'test_table', NAME => 'cf1', COMPRESSION => 'SNAPPY'`），引用中的压缩率计算表明压缩可提升效率[^1]。 - **时间估计**：在标准Hadoop集群上（10节点），生成400G数据可能需要1-5小时，取决于网络和磁盘I/O。I/O时间可建模为 $ T_{\text{I/O}} = \frac{S_{\text{总}}}{B} $，其中 $B$ 是磁盘带宽（例如，若 $B = 100 MB/s$，则 $ T_{\text{I/O}} \approx \frac{400 \times 1024}{100} \approx 4100$ 秒 ≈ 1.1 小时)[^1]。 ### 注意事项 - **数据一致性**：生成随机数据时，确保行键唯一以避免冲突。 - **资源管理**：监控集群负载（使用`htop`或HDFS UI），避免OOM错误。 - **引用处理**：用户提供的引用[1]涉及压缩率和I/O模型，我在数据压缩和性能估计中已融入；引用[2]描述文件结构，与HBase数据生成不直接相关，故未使用。 - **可靠建议**：测试前备份HBase（`hbase snapshot`）。真实环境中，优先在开发集群测试小规模数据（如1G）。 ### 相关问题 如果您完成了数据构造，以下是可能延伸的问题： 1. 如何优化HBase的读写性能来处理400G数据？ 2. HBase数据压缩有哪些最佳实践？ 3. 在大规模数据下，如何监控和调优HBase集群资源？ 4. 除了YCSB，还有哪些工具适合HBase的基准测试？ 通过以上步骤，您应能成功构造400G测试数据。如果有具体集群配置或数据细节，请提供更多信息以细化方案！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值