json文件导入hbase

最新推荐文章于 2021-05-07 19:46:25 发布

DT弄潮儿

最新推荐文章于 2021-05-07 19:46:25 发布

阅读量6k

点赞数

CC 4.0 BY-SA版权

文章标签： json文件 hbase导入

本文链接：https://blog.youkuaiyun.com/BD_AI_IoT/article/details/78396944

这篇博客展示了如何使用Java代码将JSON文件中的数据导入到HBase数据库。首先，通过JsonParser解析JSON文件并提取所需字段，然后创建HBase表并设置列族，最后将数据逐条写入HBase表中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

/*
{"id":[{"_id":"https://img.alicdn.com/imgextra/i4/1677335387/TB2MNEhiXXXXXXwXXXXXXXXXXXX_!!1677335387.jpg","width":"750","商品标题":"【努比亚旗舰店】nubia/努比亚 Z9 max 移动联通双4G版智能手机","商品链接":"https://detail.tmall.com/item.htm?id=45150572369","height":"1066"},
{"_id":"222","width":"750","商品标题":"【努比亚旗舰店】nubia/努比亚 Z9 max 移动联通双4G版智能手机","商品链接":"https://detail.tmall.com/item.htm?id=45150572369"}]}
*/
//json文件格式

import java.io.FileNotFoundException;
import java.io.FileReader;
import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.MasterNotRunningException;
import org.apache.hadoop.hbase.ZooKeeperConnectionException;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;

import com.google.gson.JsonArray;
import com.google.gson.JsonIOException;
import com.google.gson.JsonObject;
import com.google.gson.JsonParser;
import com.google.gson.JsonSyntaxException;

public class JSON {
private static Configuration conf = null;
static {
conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "master");// 使用eclipse时必须添加这个，否则无法定位master需要