Sqoop导表在大并发下造成RegionServer的系统cpu过高

guoqiangma

于 2014-04-09 00:49:28 发布

阅读量2.3k

点赞数

分类专栏： HBase

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/guoqiangma/article/details/23225015

版权

HBase 专栏收录该内容

16 篇文章

订阅专栏

本文针对HBase在导入大量数据时导致RegionServer CPU过高的问题，提供了三种解决方案：增加RPCHandler线程数、减少map任务数量及预先创建多个Region。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对于初始时只有一个Region并配置过多的map时，可能会造成某一RegionServer的系统cpu过高，主要原因是多个map任务会通过RPC同时向一个RegionServer写入数据，当RegionServer的RPC Handler线程过少时，其它map端就会等待，此时RegionServer会堆积大量的网络请求二无法及时响应，从而造成系统cpu过高，解决方案:

方案一:

增大RegionServer的RPC Handler线程数量(目前亦庄HBase集群中RegionServer的RPC Handler线程数量为25)

方案二:

减少Sqoop导表时map任务数量的设置

方案三:

创建HBase中对应的表示，为其创建多个Region

博客等级

码龄17年

47
原创

17
点赞

50
收藏

46
粉丝

关注

私信

热门文章

分类专栏

最新评论

SSE intrinsic函数_优化
hiwangyuan: 这个是有问题的，两次运算的数组长度不一样，实际上如1楼所说，修正后实际debug下只提高5%左右，release下反而不如，大约只有60%的效率；估计差的是在赋值运算上
SSE intrinsic函数_优化
pymqqq 回复 chenmoo0821: 对，我感觉这个地方也不对，应该是len，如果改成len，计算时间反而变长了。
决策树算法——ID3算法，C4.5算法
garysix: 有代码就好了最近正在学这个准备用id3做个简单的图书推荐系统。就是不知道怎么下手。
SSE intrinsic函数_优化
Phill: 可否做两个double型的并行运算呢？
ID3算法的java实现(转载，修改)
tiankongsha014: 楼主你好，代码是不是有问题呢？我用书上的训练集的得不到结果呀。如下：请输入候选属性 outlook temperature humidity wind 请输入训练数据 sunny hot high weak no sunny hot high strong no overcast hot high weak yes rain mild high weak yes rain cool normal weak yes rain cool normal strong no overcast cool normal strong yes 候选属性列表： outlook temperature humidity wind 候选属性列表： temperature humidity wind 候选属性列表： temperature humidity wind 候选属性列表： temperature humidity wind 候选属性列表： temperature humidity 候选属性列表： temperature humidity name:outlook node rules: {sunny overcast rain } size of children:3 child 1 of node outlook: name:no node rules: {} -->leaf node!<-- child 2 of node outlook: name:yes node rules: {} -->leaf node!<-- child 3 of node outlook: name:wind node rules: {weak strong } size of children:2 child 1 of node wind: name:yes node rules: {} -->leaf node!<-- child 2 of node wind: name:no node rules: {} -->leaf node!<--

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。