批量写数据到hbase导致内存溢出_hbase thrift 内存 gc-优快云博客

内存不够，需修改hadoop及hbase参数

mapred-site.xml

<configuration>
增加以下内容
<property>
   <name>mapred.task.java.opts</name>
   <value>-Xmx4096m</value>
</property>
<property>
   <name>mapred.child.java.opts</name>
   <value>${mapred.task.java.opts} -Xmx2048m</value>
   <final>true</final>
</property>
<property>
<name>mapred.map.child.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapred.reduce.child.java.opts</name>
<value>-Xmx2048M</value>
</property>
</configuration>

hbase-env.sh修改添加

export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS $HBASE_JMX_BASE -Xmx2000m -Xms2000m -Xmn750m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70"

export HBASE_REGIONSERVER_OPTS="$HBASE_REGIONSERVER_OPTS $HBASE_JMX_BASE -Xmx6000m -Xms6000m -Xmn2250m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=70"

export HBASE_THRIFT_OPTS="$HBASE_THRIFT_OPTS $HBASE_JMX_BASE -Xms100m -Xmx2000m"

export HBASE_ZOOKEEPER_OPTS="$HBASE_ZOOKEEPER_OPTS $HBASE_JMX_BASE -Xms100m -Xmx2000m"

完美解决