如何在hbase中快速插入10万条数据

最新推荐文章于 2024-09-02 09:45:35 发布

原创

最新推荐文章于 2024-09-02 09:45:35 发布 · 3.8k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#Hbase #hadoop

我们知道每一条put操作实际上都是一个rpc操作，它将客户端数据传送到服务器然后返回。这只是折小数据量的操作，如果有一个应用需要插入十万行数据

到hbase表中，这样处理就太不合适了。

hbase的api配备了一个客户端的些缓冲区，缓冲区负责手机put操作，然后调用rpc一次性将put送往服务器。

下面是一个插入十万行到一个表的代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;

public class AddTest {
	static Configuration conf = null;  
    static {  
        conf = HBaseConfiguration.create();  
         
    }  
	public static void main(String args[]){
		String tableName = "testtable1";
		String familie1 = "colfam1";
		String familie2 = "colfam2";
		String[] column = {"col-5","col-33","k"};
		String[] values = {"wellcome","my house","yes"};
		try {  
            /