scala spark hbase 操作案例

最新推荐文章于 2025-05-22 11:11:17 发布
原创 最新推荐文章于 2025-05-22 11:11:17 发布 · 6.9k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文档介绍了在Hadoop 2.6.4、HBase 1.0.3和Spark 1.6.0环境下，使用Scala进行Spark与HBase的交互操作。包括软件版本、Maven配置、编译打包及运行步骤。特别提到了Hadoop与HBase的版本对应关系，以及可能遇到的版本不兼容问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

</pre><pre code_snippet_id="1751778" snippet_file_name="blog_20160708_1_3020430" name="code" class="plain">s

1、软件版本Hadoop 2.6.4、 HBase 1.0.3、spark 1.6.0 、 scala-2.10.5

程序jar包版本： 

 hbase-server.1.0.3、 spark-core_2.10.1.1.0、


2、maven配置文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>spark-hbase2</groupId>
  <artifactId>spark-hbase2</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <name>${project.artifactId}</name>
  <description>My wonderfull scala app</description>
  <inceptionYear>2015</inceptionYear>
  <licenses>
    <license>
      <name>My License</name>
      <url>http://....</url>
      <distribution>repo</distribution>
    </license>
  </licenses> 

	<repositories>
	
		<repository>
			<id>maven-apache-repo2</id>
			<name>Maven Plugin Repository 2</name>
			<url>http://repo2.maven.org/maven2</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>
      
		 <repository>
			<id>maven-centeral</id>
			<name>Maven Plugin Repository 2</name>
			<url>http://central.maven.org/maven2</url>
			<releases>
				<enabled>true</enabled>
			</releases> 
			<snapshots>
				<enabled>false</enabled>
			</snapshots> 
		</repository> 
		<repository>
			<id>maven-com-sun</id>
			<name>Maven2 repository of SUN</name>
			<url>http://download.java.net/maven/2</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>
		<repository>
			<id>logicaldoc.sourceforge.net</id>
			<name>logicaldoc.sourceforge.net</name>
			<url>http://logicaldoc.sourceforge.net/maven/</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>
		<repository>
			<id>server.oosnmp.net</id>
			<name>server.oosnmp.net</name>
			<url>https://server.oosnmp.net/dist/release</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>
		<repository>
			<id>codehaus.org</id>
			<name>codehaus.org</name>
			<url>http://repository.codehaus.org</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>
		<repository>
			<id>sonatype.org</id>
			<name>sonatype.org</name>
			<url>https://oss.sonatype.org/content/groups/jetty</url>
			<releases>
				<enabled>true</enabled>
			</releases>
			<snapshots>
				<enabled>false</enabled>
			</snapshots>
		</repository>
	</repositories>

  <properties>
    <maven.compiler.source>1.6</maven.compiler.source>
    <maven.compiler.target>1.6</maven.compiler.target>
    <encoding>UTF-8</encoding>
    <scala.version>2.11.5</scala.version>
    <scala.compat.version>2.11</scala.compat.version>
  </properties>

  <dependencies>
  
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>

    <!-- Test -->
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.specs2</groupId>
      <artifactId>specs2-core_${scala.compat.version}</artifactId>
      <version>2.4.16</version>
      <scope>test</scope>
    </dependency> 
    <dependency>
      <groupId>org.scalatest</groupId>
      <artifactId>scalatest_${scala.compat.version}</artifactId>
      <version>2.2.4</version>
      <scope>test</scope>
    </dependency>
    
<!--      <dependency>
		<groupId>org.apache.hbase</groupId>
		<artifactId>hbase-client</artifactId>  
		<version>1.0.3</version>
	</dependency>  
    
	<dependency>
		<groupId>org.apache.hbase</groupId>
		<artifactId>hbase-server</artifactId>
		<version>1.0.3</version>
	</dependency>   -->
   <dependency>
		<groupId>org.apache.hbase</groupId>
		<artifactId>hbase-server</artifactId>
		<version>1.0.3</version>
	</dependency> 
	     <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
<!-- 	<dependency>
	    <groupId>org.apache.hadoop</groupId>
	    <artifactId>hadoop-client</artifactId>
	    <version>2.6.0</version>
	</dependency> 
  -->  
    <dependency>
			<groupId>org.apache.spark</groupId>
			<artifactId>spark-core_2.10</artifactId>
			<version>1.1.0</version>
	</dependency>  
    
    <dependency>
   		 <groupId>jdk.tools</groupId>
   		 <artifactId>jdk.tools</artifactId>
   		 <version>1.6</version>
   		 <scope>system</scope>
   		 <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
	</dependency>
    
  </dependencies>

 <build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <testSourceDirectory>src/test/scala</testSourceDirectory>
    <plugins>
       <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <version>2.15.2</version>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
              <goal>testCompile</goal>
            </goals>
            <configuration>
        			<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
              <args>
                <arg>-dependencyfile</arg>
                <arg>${project.build.directory}/.scala_dependencies</arg>
              </args>
            </configuration>
          </execution>
        </executions>
      </plugin>

      <plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<version>2.5.5</version>
				<configuration>
					<appendAssemblyId>false</appendAssemblyId>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
<!-- 					<archive>
						<manifest>
							<mainClass>spark_hbase.spark_hbase.App</mainClass>
						</manifest>
					</archive>
 -->				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>assembly</goal>
						</goals>
					</execution>
				</executions>
			</plugin> 
      
       
       <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <version>2.10</version>
        <configuration>
          <useFile>false</useFile>
          <disableXmlReport>true</disableXmlReport>
          <!-- If you have classpath issue like NoDefClassError,... -->
          <!-- useManifestOnlyJar>false</useManifestOnlyJar -->
          <includes>
            <include>**/*Test.*</include>
            <include>**/*Suite.*</include>
          </includes>
        </configuration>
      </plugin>
      
      
    </plugins>
  </build>
  </project>

3、scala 代码 

package spark_hbase.spark_hbase

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.HColumnDescriptor
import org.apache.hadoop.hbase.HTableDescriptor
import org.apache.hadoop.hbase.client.HBaseAdmin
import org.apache.hadoop.hbase.client.HBaseAdmin
import org.apache.hadoop.hbase.client.HTable
import org.apache.hadoop.hbase.client.HTable
import org.apache.hadoop.hbase.client.Put
import org.apache.hadoop.hbase.client.Put
import org.apache.hadoop.hbase.client.Result
import org.apache.hadoop.hbase.client.Scan
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.hadoop.hbase.util.Bytes
import org.apache.hadoop.hbase.util.Bytes
import org.apache.spark._
import org.apache.spark._
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext
import org.apache.hadoop.hbase.client.Get
import org.apache.spark.serializer.KryoSerializer

object SparkHBase1 extends Serializable {
 def main(args: Array[String]): Unit = {
   
    val sparkConf = new SparkConf().setMaster("local").setAppName("HBaseTest")
      .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    val sc = new SparkContext(sparkConf)
    var table_name = "test"
    val conf = HBaseConfiguration.create()
    
    conf.set("hbase.rootdir", "hdfs://wwwwww-1/hbase")
		conf.set("hbase.zookeeper.quorum", "11.11.131.19,11.11.131.20,11.11.131.21")
	  conf.set("hbase.zookeeper.property.clientPort", "2181")
		conf.set("hbase.master", "60001")
    conf.set(TableInputFormat.INPUT_TABLE, table_name)
    
    val hadmin = new HBaseAdmin(conf)
    
    if (!hadmin.isTableAvailable("test")) {    
      print("Table Not Exists! Create Table")    
      val tableDesc = new HTableDescriptor("test")    
      tableDesc.addFamily(new HColumnDescriptor("basic".getBytes()))  
      hadmin.createTable(tableDesc)    
    }else{
      print("Table  Exists!  not Create Table")   
    }    
    
    val table = new HTable(conf, "test");    
    for (i <- 1 to 5) {    
      var put = new Put(Bytes.toBytes("row" + i))   
      put.add(Bytes.toBytes("basic"), Bytes.toBytes("name"), Bytes.toBytes("value " + i))  
      table.put(put)   
    }    
    table.flushCommits()  
    
    //Scan操作  
    val hbaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],    
      classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],    
      classOf[org.apache.hadoop.hbase.client.Result])    
    
    val count = hbaseRDD.count()    
    println("HBase RDD Count:" + count)    
    hbaseRDD.cache()    
    
    val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],
        classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
    classOf[org.apache.hadoop.hbase.client.Result])
    
    val g = new Get("row1".getBytes)
    val result = table.get(g)
    val value = Bytes.toString(result.getValue("basic".getBytes,"name".getBytes))
    println("GET id001 :"+value)
    
    
    hbaseRDD.cache()    
    print("------------------------scan----------")
    val res = hbaseRDD.take(count.toInt)    
    for (j <- 1 until count.toInt) {    
      println("j: " + j)    
      var rs = res(j - 1)._2    
      var kvs = rs.raw    
      for (kv <- kvs)    
        println("rowkey:" + new String(kv.getRow()) +    
          " cf:" + new String(kv.getFamily()) +    
          " column:" + new String(kv.getQualifier()) +    
          " value:" + new String(kv.getValue()))    
    }    
    
/*    println("-------------------------")
    println("--take1" + hBaseRDD.take(1))
    println("--count" + hBaseRDD.count())*/
     
    
    //insert_hbase(100002,3)
  }
  //写入hbase
 /* def insert_hbase(news_id:Int,type_id:Int): Unit ={
    var table_name = "news"
    val conf = HBaseConfiguration.create()
    conf.set("hbase.zookeeper.quorum","192.168.110.233, 192.168.110.234, 192.168.110.235");
    conf.set("hbase.zookeeper.property.clientPort", "2181");
    val table = new HTable(conf, table_name)
    val hadmin = new HBaseAdmin(conf)
    val row = Bytes.toBytes(news_id.toString())
    val p = new Put(row)
    p.add(Bytes.toBytes("content"),Bytes.toBytes("typeid"),Bytes.toBytes(type_id.toString()))
    table.put(p)
    table.close()
  } */
}


4、编译 

 mvn  clean scala:compile compile package -X

eclipse环境搭建 详见： http://blog.youkuaiyun.com/ldds_520/article/details/51830721


5、打包运行：

spark/bin/spark-submit --master spark://11.11.131.119:7077 --name spark-hbase --class "spark_hbase.spark_hbase.SparkHBase1"    /spark-hbase2-0.0.1-SNAPSHOT.jar localhost 9999


6、hadoop与HBase版本对应关系:


Hbase          Hadoop
0.92.0   1.0.0
0.92.1   1.0.0
0.92.2   1.0.3
0.94.0   1.0.2
0.94.1   1.0.3
0.94.2   1.0.3
0.94.3   1.0.4
0.94.4   1.0.4
0.94.5   1.0.4
0.94.9   1.2.0
0.95.0   1.2.0

hadoop1.2+hbase0.95.0+hive0.11.0 会产生hbase+hive的不兼容，创建hive+hbase的关联表就会报pair对异常。
hadoop1.2+hbase0.94.9+hive0.10.0 没问题，解决了上个版本的不兼容问题。




下面在给列出官网信息：
下面面符号的含义：
S =支持并且测试,
X = 不支持,
NT =应该可以，但是没有测试.



 HBase-0.92.x
HBase-0.94.x
HBase-0.96.x
HBase-0.98.x [a]
HBase-1.0.x
Hadoop-0.20.205
S
X
X
X
X
Hadoop-0.22.x
S
X
X
X
X
Hadoop-1.0.0-1.0.2 [c]
X
X
X
X
X
Hadoop-1.0.3+
S
S
S
X
X
Hadoop-1.1.x
NT
S
S
X
X
Hadoop-0.23.x
X
S
NT
X
X
Hadoop-2.0.x-alpha
X
NT
X
X
X
Hadoop-2.1.0-beta
X
NT
S
X
X
Hadoop-2.2.0
X
NT  [d]
S
S
NT
Hadoop-2.3.x
X
NT
S
S
NT
Hadoop-2.4.x
X
NT
S
S
S
Hadoop-2.5.x
X
NT
S
S
S


大数据领域HBase集成Spark实现高效数据分析
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
06-23 737
本文旨在为大数据工程师和架构师提供HBase与Spark集成的全面技术指南。HBase与Spark的架构集成原理高效数据读写模式设计性能调优策略实际应用案例分析文章首先介绍HBase和Spark的基本概念，然后深入探讨它们的集成架构。接着我们会分析核心算法和数学模型，并通过实际代码示例展示具体实现。最后讨论应用场景、工具推荐和未来发展趋势。HBase：分布式、面向列的NoSQL数据库，基于HDFS构建，适合海量数据存储和随机访问。Spark。
SparkHBase整合原理与代码实例讲解
AI大模型应用之禅
09-12 264
Spark-HBase整合原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 随着大数据时代的到来，
spark与MR读取HBase snapshot
学海无涯
06-04 1512
import com.suning.recmmentation.content.video.online.habse.HbaseDaoImpl; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.a.
hbase scala 实例_scala操作hbase案例
weixin_39967405的博客
12-19 207
packagecom.asiainfo.ocdc.streaming.toolsimportorg.apache.hadoop.hbase.HBaseConfigurationimportorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.hbase.client.{Put, Result, Get, HTable}importo...
hbase scala 实例_Spark本地: Scala实例
weixin_39574287的博客
12-19 210
1. 目的在Spark提供的Scala环境, 编写实例, 测试Scala语法2. 实例2.1 读取本地文件# test.txt如下:abcdheiheiheihei# 读取文件, 并对每行出现频次进行统计, 使用reduceByKeyval lines = sc.textFile("file:///home/xx/test.txt")val pairs = lines.map(s=>(s,...
如何使用scala+spark读写hbase？
三劫散仙
06-12 769
最近工作有点忙，所以文章更新频率低了点，希望大家可以谅解，好了，言归正传，下面进入今天的主题： 如何使用scala+spark读写Hbase 软件版本如下： scala2.11.8 spark2.1.0 hbase1.2.0 公司有一些实时数据处理的项目，存储用的是hbase，提供实时的检索，当然hbase里面存储的数据模型都是简单的，复杂的多维检索...
hadoop fs –ls /hbase 无内容_HBase实操：Spark-Read-HBase-Snapshot-Demo 分享
weixin_39693101的博客
11-29 163
前言：之前给大家分享了Spark通过接口直接读取HBase的一个小demo：HBase-Spark-Read-Demo，但如果在数据量非常大的情况下，Spark直接扫描HBase表必然会对HBase集群造成不小的压力。基于此，今天再给大家分享一下Spark通过Snapshot直接读取HBase HFile文件的方式。 首先我们先创建一个HBase表：test，并插入几条数据，如下： hbase(...
hbase scala 实例_【开发案例】Spark案例：Spark on HBase样例
weixin_42123456的博客
12-29 529
Spark案例：Spark on HBase样例1.1场景说明适用版本FusionInsight HD V100R002C70、FusionInsight HD V100R002C80。场景说明用户可以使用Spark调用HBase的接口来操作HBase表的功能。在Spark应用中，用户可以自由使用HBase的接口来实现创建表、读取表、往表中插入数据等操作。数据规划首先需要把数据文件放置在HDFS系...
hbase scala 实例_spark dataset读写 hbase 案例代码
weixin_39542608的博客
12-19 311
1.spark 读写hbase代码spark 提供了saveAsNewAPIHadoopDataset方法来写入rdd到hbase，和 newAPIHadoopRDD方法读取hbase数据到rddmaven依赖UTF-82.11.122.3.02.7.72.111.4.9org.apache.sparkspark-core_2.11${spark.version}org.apache.sparks...
【Spark集成HBase】Spark读写HBase表
最新发布
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
05-22 1331
本文详细介绍了如何使用 Spark 2.3.2 与 HBase 1.4.8 进行数据交互，重点展示了通过 Scala 语言将 CSV 数据写入 HBase 表，并利用 Spark SQL 进行数据分析的完整流程。文章首先提供了实验环境的配置，包括 Spark、HBase、Scala 的版本信息以及 Maven 依赖的配置。接着，详细描述了数据准备、HBase 表结构设计以及代码实现步骤。代码示例涵盖了从 CSV 文件读取数据、批量写入 HBase、全表扫描、数据类型转换以及结构化查询等关键操作，适合大数据开
spark 存入hbase_【开发案例】Spark案例：从Hive读取数据再写入HBase
weixin_39631932的博客
12-19 810
Spark案例：从Hive读取数据再写入HBase1.1场景说明适用版本FusionInsight HD V100R002C70、FusionInsight HD V100R002C80。场景说明假定Hive的person表存储用户当天消费的金额信息，HBase的table2表存储用户历史消费的金额信息。现person表有记录name=1,account=100，表示用户1在当天消费金额为100元...
scala API 操作hbase表
01-11
最近看了hbase的源码根据源码写了一些scala调动hbase表的API，话不多说直接上代码！Hadoop的版本是2.7.3，scala版本是2.1.1，hbase的版本是1.1.2 如果版本不同可以修改pom的依赖项，但要注意版本冲突。 并且在scala，maven项目中，还有创建一个resources包（这个网上多的是）主要是放core-site,xml和hdfs-site.xml以及hbase-site.xml
hbase-scala
lucky_kai的博客
12-18 504
1:创建一个名为HELLO的表： >create 'HELLO','id','address','info'2:插入数据： >put'HELLO','10','info:age','24' >put'HELLO','12','info:age','24' >put'HELLO','12','info:city','shanghai' ......3:删除数据： >disabl
HBase实操：Spark-Read-HBase-Snapshot-Demo 分享
weixin_42047967的博客
04-17 494
前言：之前给大家分享了Spark通过接口直接读取HBase的一个小demo：HBase-Spark-Read-Demo，但如果在数据量非常大的情况下，Spark直接扫描HBase表必然会对HBase集群造成不小的压力。基于此，今天再给大家分享一下Spark通过Snapshot直接读取HBase HFile文件的方式。 首先我们先创建一个HBase表：test，并插入几条数据，如下： hbase...
scala Hbase scan起止范围补充
linxu8520的专栏
08-22 4200
Hbase对rowKey进行scan时需要设置scan的范围，即startRowKey与endRowKey。 例如scan：xxxaaa ~ xxxzzz 这段范围内的数据可以这样设置： val startRowKey: Array[Byte] = Bytes.add(Bytes.toBytes("xxx"), Bytes.toBytes("aaa")) val stopRowKey: Ar...
Hadoop_Scala操作Hbase
MUTONG的博客
12-28 263
Hadoop_Scala操作Hbase package com.lius.hadoop.hbase import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.TableName import org.apache.hadoop.hbase.client.Connection import org.apache.hadoop.hbase.client.ConnectionFactory impor.
(转)Scala操作Hbase
shellching的专栏
03-17 551
import java.io.IOException import org.apache.hadoop.hbase.{HBaseConfiguration, HColumnDescriptor, HConstants, HTableDescriptor, TableName} import org.apache.hadoop.hbase.client._ import org.apache.ha...
spark操作读取hbase实例
bitcarmanlee的博客
01-23 6352
博主项目实践中，经常需要用spark从hbase中读取数据。其中，spark的版本为1.6，hbase的版本为0.98。现在记录一下如何在spark中操作读取hbase中的数据。 对于这种操作型的需求，没有什么比直接上代码更简单明了的了。so，show me the code!object Demo extends Logging{ val CF_FOR_FAMILY_USER = Bytes.
Spark实战之读写HBase
热门推荐
_朝和
05-19 1万+
Spark实战之Hbase读写
Spark+HBase实现RowKey完全散列设计案例分析
在案例中，Spark通过RDD（弹性分布式数据集）操作将处理后的数据存储到HBase表中。 接下来，我们重点讨论如何通过RowKey完全散列来解决热点问题。在多进程多线程的环境中，我们需要确保数据能够均匀地分布在HBase...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值