用scala语言,用HttpClient读取数据,存入阿里云服务器上的HBase中

本文提供了一个使用Scala编程语言向HBase数据库写入数据的示例代码。介绍了如何初始化日期时间、获取HTTP响应内容并解析为JSON,接着展示了如何从JSON中提取所需数据并写入到HBase表的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

废话少说,直接上代码。

    val now: Date = new Date()
    val gt = now.getTime
    var time = gt + ""
    val client: HttpClient = new HttpClient
    val method: GetMethod = new GetMethod(url)
    client.executeMethod(method)
    val firstJson = method.getResponseBodyAsString
    val json = JSON.parseObject(firstJson)
    // println(json)
    //第一层json
    import scala.collection.JavaConversions._
    val dataJson: JSONObject = json.getJSONObject("data")
    val hasnext = json.getString("hasnext")
    val lastdocid = json.getInteger("lastdocid")+""
    val num = json.getString("num")

     for (entry <- dataJson.entrySet) {
      val dataValue = entry.getValue.toString
      val mark = JSON.parseObject(dataValue)
      val docid = mark.getInteger("docid")
      val conf = HBaseConfiguration.create()
      //设置zooKeeper集群地址,也可以通过将hbase-site.xml导入classpath,但是建议在程序里这样设置
      conf.set("hbase.zookeeper.quorum","39.104.48.200")
      //设置zookeeper连接端口,默认2181
      conf.set("hbase.zookeeper.property.clientPort", "2181")
      val tablename = "t_map_client_elm_shanghai"
      val table: HTable = new HTable(conf, tablename)
      val put = new Put(Bytes.toBytes(docid+"2018/7/31"))
      put.add(Bytes.toBytes("data"),Bytes.toBytes("time"),Bytes.toBytes("2018/7/31"))
      put.add(Bytes.toBytes("data"),Bytes.toBytes("mark"),Bytes.toBytes(dataJson.toJSONString))
      table.put(put)

      //释放连接
      method.releaseConnection()
      }
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值