spark读取hbase数据

最新推荐文章于 2025-05-22 11:11:17 发布
最新推荐文章于 2025-05-22 11:11:17 发布
阅读量1.9k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41362649/article/details/88804021
本文介绍了一种使用 Apache Spark 和 HBase 进行数据读取的方法，并展示了如何从 HBase 表中扫描特定数据行，同时提取用户基本信息、关注者统计特征及标签信息等数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. import org.apache.hadoop.hbase.HBaseConfiguration  
  2. import org.apache.hadoop.hbase.mapreduce.TableInputFormat  
  3. import org.apache.spark.sql.SparkSession  
  4. import scala.collection.mutable  
  5.   
  6. object HbaseUtils {  
  7.   
  8.   /** 
  9.     * 指定HBase 表 字段 开始结束 rowkey scan 
  10.     * 
  11.     * @param spark 
  12.     * @param tableName 
  13.     * @param columns 
  14.     * @param startRow 
  15.     * @param endRow 
  16.     * @return 
  17.     */  
  18.   def scan(spark: SparkSession, tableName: String, columns: mutable.ArrayBuffer[String], startRow: String = null, endRow: String = null) = {  
  19.   
  20.     val scan_columns = columns.mkString(" ")  
  21.   
  22.     val scanConf = HBaseConfiguration.create()  
  23.     scanConf.set(TableInputFormat.INPUT_TABLE, tableName)  
  24.     if(columns.length == 0){  
  25.       scanConf.set(TableInputFormat.SCAN_COLUMNS, scan_columns)  
  26.     }  
  27.     if(StringUtils.isNotEmpty(startRow)){  
  28.       scanConf.set(TableInputFormat.SCAN_ROW_START, startRow)  
  29.     }  
  30.     if(StringUtils.isNotEmpty(endRow)){  
  31.       scanConf.set(TableInputFormat.SCAN_ROW_STOP, endRow)  
  32.     }  
  33.     scanConf.set("mapreduce.task.timeout", "1200000")  
  34.     scanConf.set("hbase.client.scanner.timeout.period", "600000")  
  35.     scanConf.set("hbase.rpc.timeout", "600000")  
  36.   
  37.     val hBaseRDD = spark.sparkContext.newAPIHadoopRDD(scanConf, classOf[TableInputFormat],  
  38.       classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],  
  39.       classOf[org.apache.hadoop.hbase.client.Result])  
  40.   
  41.     hBaseRDD  
  42.   }  
  43. }  
  44.   
  45.   
  46. import org.apache.hadoop.hbase.client.Result  
  47. import org.apache.hadoop.hbase.util.Bytes  
  48. import org.apache.spark.SparkConf  
  49. import org.apache.spark.sql.SparkSession  
  50. import org.apache.log4j.{Level, Logger}  
  51. import scala.collection.mutable  
  52. import org.apache.spark.sql.functions.{col, split}  
  53.   
  54. object MakeBaseInfo {  
  55.   
  56.   val BaseInfo: Array[String] = Array("uid", "age", "height", "weight", "role", "vbadge",  
  57.     "has_photos", "video_verified", "is_human_face","has_description", "ip_location","has_avatar",  
  58.     "vip")  
  59.   
  60.   val Follow: Array[String] = Array("followed_num", "followed_with_time", "follower_num")  
  61.   
  62.   val StatisFeature:Array[String] = Array("click","clicked","show","send_session",  
  63.     "receive_session","desc_len","online_click","online_clicked","online_show","online_showed",  
  64.     "nearby_click","nearby_clicked","nearby_show","nearby_showed","newbie_click","newbie_clicked",  
  65.     "newbie_show","newbie_showed","social_stay_time","visit_count","visited_count")  
  66.   
  67.   val TagInfo: Array[String] = Array("" +  
  68.     "tag_1_1", "tag_1_2", "tag_1_3", "tag_1_4",  
  69.     "tag_2_1", "tag_2_2", "tag_2_3", "tag_2_4", "tag_2_5", "tag_2_6", "tag_2_7", "tag_2_8", "tag_2_9", "tag_2_10", "tag_2_11", "tag_2_12",  
  70.     "tag_3_1", "tag_3_2", "tag_3_3", "tag_3_4",  
  71.     "tag_4_1", "tag_4_2", "tag_4_3", "tag_4_4", "tag_4_5", "tag_4_6", "tag_4_7", "tag_4_8", "tag_4_9", "tag_4_10", "tag_4_11", "tag_4_12",  
  72.     "tag_5_1", "tag_5_2", "tag_5_3", "tag_5_4", "tag_5_5")  
  73.   
  74.   val humanFeature: Array[String] = Array("max_ratio", "max_beauty", "is_human_body")  
  75.   
  76.   def main(args: Array[String]): Unit = {  
  77.   
  78.     val spark = getSparkSql  
  79.   
  80.     import spark.implicits._  
  81.   
  82.     val online_feature = getBaseUsersInfo(spark).toDF("uid", "item")  
  83.   
  84.     val online_feature_csv = online_feature.select(online_feature("uid"),  
  85.       split(col("item"),",").getItem(0).as("age"),  
  86.       split(col("item"),",").getItem(1).as("height"),  
  87.       split(col("item"),",").getItem(2).as("weight"),  
  88.       split(col("item"),",").getItem(3).as("role"),  
  89.       split(col("item"),",").getItem(4).as("vbadge"),  
  90.       split(col("item"),",").getItem(5).as("has_photos"),  
  91.       split(col("item"),",").getItem(6).as("video_verified"),  
  92.       split(col("item"),",").getItem(7).as("is_human_face"),  
  93.       split(col("item"),",").getItem(8).as("has_description"),  
  94.       split(col("item"),",").getItem(9).as("ip_location"),  
  95.       split(col("item"),",").getItem(10).as("has_avatar"),  
  96.       split(col("item"),",").getItem(11).as("vip"),  
  97.       split(col("item"),",").getItem(12).as("followed_num"),  
  98.       split(col("item"),",").getItem(13).as("follower_num"),  
  99.       split(col("item"),",").getItem(14).as("click"),  
  100.       split(col("item"),",").getItem(15).as("clicked"),  
  101.       split(col("item"),",").getItem(16).as("show"),  
  102.       split(col("item"),",").getItem(17).as("send_session"),  
  103.       split(col("item"),",").getItem(18).as("receive_session"),  
  104.       split(col("item"),",").getItem(19).as("desc_len"),  
  105.       split(col("item"),",").getItem(20).as("online_click"),  
  106.       split(col("item"),",").getItem(21).as("online_clicked"),  
  107.       split(col("item"),",").getItem(22).as("online_show"),  
  108.       split(col("item"),",").getItem(23).as("online_showed"),  
  109.       split(col("item"),",").getItem(24).as("nearby_click"),  
  110.       split(col("item"),",").getItem(25).as("nearby_clicked"),  
  111.       split(col("item"),",").getItem(26).as("nearby_show"),  
  112.       split(col("item"),",").getItem(27).as("nearby_showed"),  
  113.       split(col("item"),",").getItem(28).as("newbie_click"),  
  114.       split(col("item"),",").getItem(29).as("newbie_clicked"),  
  115.       split(col("item"),",").getItem(30).as("newbie_show"),  
  116.       split(col("item"),",").getItem(31).as("newbie_showed"),  
  117.       split(col("item"),",").getItem(32).as("social_stay_time"),  
  118.       split(col("item"),",").getItem(33).as("visit_count"),  
  119.       split(col("item"),",").getItem(34).as("visited_count"),  
  120.       split(col("item"),",").getItem(35).as("tag_1_1"),  
  121.       split(col("item"),",").getItem(36).as("tag_1_2"),  
  122.       split(col("item"),",").getItem(37).as("tag_1_3"),  
  123.       split(col("item"),",").getItem(38).as("tag_1_4"),  
  124.       split(col("item"),",").getItem(39).as("tag_2_1"),  
  125.       split(col("item"),",").getItem(40).as("tag_2_2"),  
  126.       split(col("item"),",").getItem(41).as("tag_2_3"),  
  127.       split(col("item"),",").getItem(42).as("tag_2_4"),  
  128.       split(col("item"),",").getItem(43).as("tag_2_5"),  
  129.       split(col("item"),",").getItem(44).as("tag_2_6"),  
  130.       split(col("item"),",").getItem(45).as("tag_2_7"),  
  131.       split(col("item"),",").getItem(46).as("tag_2_8"),  
  132.       split(col("item"),",").getItem(47).as("tag_2_9"),  
  133.       split(col("item"),",").getItem(48).as("tag_2_10"),  
  134.       split(col("item"),",").getItem(49).as("tag_2_11"),  
  135.       split(col("item"),",").getItem(50).as("tag_2_12"),  
  136.       split(col("item"),",").getItem(51).as("tag_3_1"),  
  137.       split(col("item"),",").getItem(52).as("tag_3_2"),  
  138.       split(col("item"),",").getItem(53).as("tag_3_3"),  
  139.       split(col("item"),",").getItem(54).as("tag_3_4"),  
  140.       split(col("item"),",").getItem(55).as("tag_4_1"),  
  141.       split(col("item"),",").getItem(56).as("tag_4_2"),  
  142.       split(col("item"),",").getItem(57).as("tag_4_3"),  
  143.       split(col("item"),",").getItem(58).as("tag_4_4"),  
  144.       split(col("item"),",").getItem(59).as("tag_4_5"),  
  145.       split(col("item"),",").getItem(60).as("tag_4_6"),  
  146.       split(col("item"),",").getItem(61).as("tag_4_7"),  
  147.       split(col("item"),",").getItem(62).as("tag_4_8"),  
  148.       split(col("item"),",").getItem(63).as("tag_4_9"),  
  149.       split(col("item"),",").getItem(64).as("tag_4_10"),  
  150.       split(col("item"),",").getItem(65).as("tag_4_11"),  
  151.       split(col("item"),",").getItem(66).as("tag_4_12"),  
  152.       split(col("item"),",").getItem(67).as("tag_5_1"),  
  153.       split(col("item"),",").getItem(68).as("tag_5_2"),  
  154.       split(col("item"),",").getItem(69).as("tag_5_3"),  
  155.       split(col("item"),",").getItem(70).as("tag_5_4"),  
  156.       split(col("item"),",").getItem(71).as("tag_5_5"))  
  157.   
  158.     online_feature_csv.write.format("csv").option("header","true").save("/data/wangtao/test/")  
  159.     spark.stop()  
  160.   
  161.   }  
  162.   
  163.   def getSparkSql: SparkSession = {  
  164.   
  165.     val JobName="aaa"  
  166.     val parallelism="100"  
  167.   
  168.     Logger.getLogger("org").setLevel(Level.WARN)  
  169.   
  170.     val sparkConf = new SparkConf().setAppName(JobName)  
  171.     sparkConf.set("spark.default.parallelism", parallelism)  
  172.     sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")  
  173.     sparkConf.set("spark.hadoop.validateOutputSpecs", "false")  
  174.   
  175.     SparkSession.builder().config(sparkConf).enableHiveSupport().getOrCreate()  
  176.   }  
  177.   
  178.   private def getBaseUsersInfo(spark: SparkSession)= {  
  179.   
  180.     val columns = mutable.ArrayBuffer[String]()  
  181.   
  182.     for (field <- BaseInfo) {  
  183.       columns.append("f1:%s".format(field))  
  184.     }  
  185.     for (field <- Follow) {  
  186.       columns.append("f1:%s".format(field))  
  187.     }  
  188.     for (field <- TagInfo) {  
  189.       columns.append("f1:%s".format(field))  
  190.     }  
  191.   
  192.     for (field <- StatisFeature) {  
  193.       columns.append("f1:%s".format(field))  
  194.     }  
  195.   
  196.     HbaseUtils.scan(spark, "online_social_feature", columns)  
  197.       .map {  
  198.         case (_, result) =>  
  199.   
  200.           //通过列族和列名获取列  
  201.           val uid = Bytes.toString(result.getRow)  
  202.   
  203.           // 收集数据  
  204.           val features = mutable.ArrayBuffer[String]()  
  205.   
  206.           val BaseInfo: Array[String] = Array("uid", "age", "height", "weight", "role", "vbadge",  
  207.             "has_photos", "video_verified", "is_human_face","has_description", "ip_location","has_avatar",  
  208.             "vip")  
  209.   
  210.           val Follow: Array[String] = Array("followed_num","follower_num")  
  211.   
  212.           val StatisFeature:Array[String] = Array("click","clicked","show","send_session",  
  213.             "receive_session","desc_len","online_click","online_clicked","online_show","online_showed",  
  214.             "nearby_click","nearby_clicked","nearby_show","nearby_showed","newbie_click","newbie_clicked",  
  215.             "newbie_show","newbie_showed","social_stay_time","visit_count","visited_count")  
  216.   
  217.           val TagInfo: Array[String] = Array("" +  
  218.             "tag_1_1", "tag_1_2", "tag_1_3", "tag_1_4",  
  219.             "tag_2_1", "tag_2_2", "tag_2_3", "tag_2_4", "tag_2_5", "tag_2_6", "tag_2_7", "tag_2_8", "tag_2_9", "tag_2_10", "tag_2_11", "tag_2_12",  
  220.             "tag_3_1", "tag_3_2", "tag_3_3", "tag_3_4",  
  221.             "tag_4_1", "tag_4_2", "tag_4_3", "tag_4_4", "tag_4_5", "tag_4_6", "tag_4_7", "tag_4_8", "tag_4_9", "tag_4_10", "tag_4_11", "tag_4_12",  
  222.             "tag_5_1", "tag_5_2", "tag_5_3", "tag_5_4", "tag_5_5")  
  223.   
  224.           val humanFeature: Array[String] = Array("max_ratio", "max_beauty", "is_human_body")  
  225.   
  226.           takeRowValue(result, features, "f1", "age", "None")  
  227.           takeRowValue(result, features, "f1", "height", "None")  
  228.           takeRowValue(result, features, "f1", "weight", "None")  
  229.           takeRowValue(result, features, "f1", "role", "-1")  
  230.           takeRowValue(result, features, "f1", "vbadge", "0")  
  231.           takeRowValue(result, features, "f1", "has_photos", "0")  
  232.           takeRowValue(result, features, "f1", "video_verified", "0")  
  233.           takeRowValue(result, features, "f1", "is_human_face", "None")  
  234.           takeRowValue(result, features, "f1", "has_description", "0")  
  235.           takeRowValue(result, features, "f1", "ip_location", "None")  
  236.           takeRowValue(result, features, "f1", "has_avatar", "None")  
  237.           takeRowValue(result, features, "f1", "vip", "None")  
  238.           takeRowValue(result, features, "f1", "followed_num", "0")  
  239.           takeRowValue(result, features, "f1", "follower_num", "0")  
  240.           takeRowValue(result, features, "f1", "click", "None")  
  241.           takeRowValue(result, features, "f1", "clicked", "None")  
  242.           takeRowValue(result, features, "f1", "show", "None")  
  243.           takeRowValue(result, features, "f1", "send_session", "None")  
  244.           takeRowValue(result, features, "f1", "receive_session", "None")  
  245.           takeRowValue(result, features, "f1", "desc_len", "None")  
  246.           takeRowValue(result, features, "f1", "online_click", "None")  
  247.           takeRowValue(result, features, "f1", "online_clicked", "None")  
  248.           takeRowValue(result, features, "f1", "online_show", "None")  
  249.           takeRowValue(result, features, "f1", "online_showed", "None")  
  250.           takeRowValue(result, features, "f1", "nearby_click", "None")  
  251.           takeRowValue(result, features, "f1", "nearby_clicked", "None")  
  252.           takeRowValue(result, features, "f1", "nearby_show", "None")  
  253.           takeRowValue(result, features, "f1", "nearby_showed", "None")  
  254.           takeRowValue(result, features, "f1", "newbie_click", "None")  
  255.           takeRowValue(result, features, "f1", "newbie_clicked", "None")  
  256.           takeRowValue(result, features, "f1", "newbie_show", "None")  
  257.           takeRowValue(result, features, "f1", "newbie_showed", "None")  
  258.           takeRowValue(result, features, "f1", "social_stay_time", "None")  
  259.           takeRowValue(result, features, "f1", "visit_count", "None")  
  260.           takeRowValue(result, features, "f1", "visited_count", "None")  
  261.           takeRowValue(result, features, "f1", "tag_1_1", "0")  
  262.           takeRowValue(result, features, "f1", "tag_1_2", "0")  
  263.           takeRowValue(result, features, "f1", "tag_1_3", "0")  
  264.           takeRowValue(result, features, "f1", "tag_1_4", "0")  
  265.           takeRowValue(result, features, "f1", "tag_2_1", "0")  
  266.           takeRowValue(result, features, "f1", "tag_2_2", "0")  
  267.           takeRowValue(result, features, "f1", "tag_2_3", "0")  
  268.           takeRowValue(result, features, "f1", "tag_2_4", "0")  
  269.           takeRowValue(result, features, "f1", "tag_2_5", "0")  
  270.           takeRowValue(result, features, "f1", "tag_2_6", "0")  
  271.           takeRowValue(result, features, "f1", "tag_2_7", "0")  
  272.           takeRowValue(result, features, "f1", "tag_2_8", "0")  
  273.           takeRowValue(result, features, "f1", "tag_2_9", "0")  
  274.           takeRowValue(result, features, "f1", "tag_2_10", "0")  
  275.           takeRowValue(result, features, "f1", "tag_2_11", "0")  
  276.           takeRowValue(result, features, "f1", "tag_2_12", "0")  
  277.           takeRowValue(result, features, "f1", "tag_3_1", "0")  
  278.           takeRowValue(result, features, "f1", "tag_3_2", "0")  
  279.           takeRowValue(result, features, "f1", "tag_3_3", "0")  
  280.           takeRowValue(result, features, "f1", "tag_3_4", "0")  
  281.           takeRowValue(result, features, "f1", "tag_4_1", "0")  
  282.           takeRowValue(result, features, "f1", "tag_4_2", "0")  
  283.           takeRowValue(result, features, "f1", "tag_4_3", "0")  
  284.           takeRowValue(result, features, "f1", "tag_4_4", "0")  
  285.           takeRowValue(result, features, "f1", "tag_4_5", "0")  
  286.           takeRowValue(result, features, "f1", "tag_4_6", "0")  
  287.           takeRowValue(result, features, "f1", "tag_4_7", "0")  
  288.           takeRowValue(result, features, "f1", "tag_4_8", "0")  
  289.           takeRowValue(result, features, "f1", "tag_4_9", "0")  
  290.           takeRowValue(result, features, "f1", "tag_4_10", "0")  
  291.           takeRowValue(result, features, "f1", "tag_4_11", "0")  
  292.           takeRowValue(result, features, "f1", "tag_4_12", "0")  
  293.           takeRowValue(result, features, "f1", "tag_5_1", "0")  
  294.           takeRowValue(result, features, "f1", "tag_5_2", "0")  
  295.           takeRowValue(result, features, "f1", "tag_5_3", "0")  
  296.           takeRowValue(result, features, "f1", "tag_5_4", "0")  
  297.           takeRowValue(result, features, "f1", "tag_5_5", "0")  
  298.   
  299. //          uid + "," + features.mkString(",")  
  300.           (uid,features.mkString(","))  
  301.       }  
  302.   }  
  303.   
  304.   def takeRowValue(result: Result, features: mutable.ArrayBuffer[String],  
  305.                    cf: String, field: String, default: String): Unit = {  
  306.     var value = Bytes.toString(result.getValue(cf.getBytes, field.getBytes))  
  307.     if (filedValueIsEmpty(value)) {  
  308.       value = default  
  309.     }  
  310.     features.append(s"$value")  
  311.   }  
  312.   
  313.   def filedValueIsEmpty(value: String): Boolean = {  
  314.     if (value == null || StringUtils.isEmpty(value) || value == "NULL" || value == "null" || value == "None")  
  315.       return true  
  316.     false  
  317.   }  
  318.   
  319. }  
Spark读取HBase数据库
优快云 精品推荐
08-14 1110
Apache Spark 是一个快速、通用的大数据处理引擎，支持在分布式环境中进行大规模数据处理和分析。它提供了丰富的数据处理功能，并且可以与多种数据存储系统集成，包括 HBase。
spark读取hbase数据，并使用spark sql保存到mysql
03-22
使用spark读取hbase中的数据，并插入到mysql中
Spark：spark读取hbase
weixin_34166472的博客
01-04 193
spark-shell运行，若要载入hbase的jar包： export SPARK_CLASSPATH=/opt/hbase-1.2.4/lib/* 获取hbase中列簇中的列值： import org.apache.spark._ import org.apache.hadoop.hbase.HBaseConfiguration import o...
【Spark集成HBase】Spark读写HBase表
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
05-22 1338
本文详细介绍了如何使用 Spark 2.3.2 与 HBase 1.4.8 进行数据交互，重点展示了通过 Scala 语言将 CSV 数据写入 HBase 表，并利用 Spark SQL 进行数据分析的完整流程。文章首先提供了实验环境的配置，包括 Spark、HBase、Scala 的版本信息以及 Maven 依赖的配置。接着，详细描述了数据准备、HBase 表结构设计以及代码实现步骤。代码示例涵盖了从 CSV 文件读取数据、批量写入 HBase、全表扫描、数据类型转换以及结构化查询等关键操作，适合大数据开
用Spark查询HBase中的表数据
weixin_34419321的博客
11-28 214
java代码如下： package db.query; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBas...
spark 读取hbase中的数据
lzz360的专栏
06-24 2084
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.Scan import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.protobuf.Protob
【Spark分析HBase数据】Spark读取并分析HBase数据
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
05-14 1636
Apache Spark 是一个强大的大数据处理引擎，而 HBase 是一个分布式 NoSQL 数据库，适合存储海量数据。通过结合 Spark 和 HBase，可以实现高效的数据处理和分析。本文以 Spark 2.3.2 读取 HBase 1.4.8 中的 hbase_emp_table 表数据为例，展示了如何实现这一过程。首先，在 IDEA 中创建工程 SparkReadHBaseData，并在 pom.xml 中添加必要的依赖，包括 Spark、HBase 和 Hadoop 的相关库。接着，在 com.
spark 操作 hbase 之读取 hbase
heqingcool的博客
06-03 2402
1 通过 scan 读取 hbase 表 应用场景： ​ 当想读取hbase表数据，做进一步数据处理或数据分析时，需要用scan 读取 HBASE 表。 读取方法： 直到读取数据的inputformat是 TableInputFormat， keyin： ImmutableBytesWritable rowkey valuein：Result 一行（rowkey）的数据 1.1 scan 全表 package day05.hbase import org.apache.hadoop.con
Spark读取hbase表的几种方式
热门推荐
sinadrew的博客
05-02 2万+
刚刚五一节，差点忘了还有个博客需要更新，赶紧上来码点字。开工把！！！环境：hadoop3.0+Spark2.2+hbase1.2+phoenix4.12基本上是都是比较新的环境，而且也比较稳定。但是hbase相对来说有点老了，但也还好。这个版本的hbase1.2还没有提供spark直接访问的api,我在github上面看到新版的提供了，但是没安装成功（：-），于是将就了。在spark中读取hbas...
python高效处理文件_Python使用Pandas高效处理测试数据
weixin_39880150的博客
11-24 311
转自：https://www.cnblogs.com/keyou1/p/10948796.html一、思考1.Pandas是什么？功能极其强大的数据分析库可以高效地操作各种数据集csv格式的文件Excel文件HTML文件XML格式的文件JSON格式的文件数据库操作2.经典面试题通过面试题引出主题，读者可以思考，如果你遇到这题，该如何解答呢？二、使用pandas来操作Excel文件1.安装a.通过P...
Spark读取HBase数据源
走向程序的康庄大道
05-03 2928
读取HDFS相关的数据源时，大量使用mapreduce封装的读取数据源的方式，而一个mapreduce job会依赖InputFormat对读取的数据进行格式校验、输入切分等操作。读取HBase数据源，则使用了TableInputFormat。先来看看InputFormat。InputFormatInputFormat是mapreduce提供的数据源格式接口，也就是说，通过该接口可以支持读取各种各...
spark读hbase表中的数据
qq_44403259的博客
04-23 485
spark操作hbase中的数据 1、在hbase中创建表，并添加相应的数据 hbase(main):002:0> create 'tb','info' 0 row(s) in 23.4720 seconds => Hbase::Table - tb hbase(main):003:0> put 'tb','1001','info:name','Tom' 0 row(s) in...
Spark-Hbase 查询
04-16 609
要使用HBase-Spark Connector，用户需要定义在HBase和Spark表之间的映射关系的schema目录，准备数据，并且填充到HBase表中，然后加载HBase Dataframe。之后，用户可以使用SQL查询做集成查询和访问记录HBase的表。以下描述了这个的基本步骤： １、定义目录（Define catalog）２、保存DataFrame３、加载DataFrame４、SQL 查询 1.定义目录Define catalog val catalog = s"""{ ...
sparkSQL 查询hbase
weixin_40532625的博客
05-31 927
1.在spark/jars目录下建立./hbase目录，然后拷贝以下jar包导该目录 cd /usr/local/spark/jars mkdir hbase cd hbase cp /usr/local/hbase/lib/hbase*.jar ./ cp /usr/local/hbase/lib/guava-12.0.1.jar ./ cp /usr/local/hbas...
Spark读取HBase示例
whgyxy的博客
04-13 858
Spark读取HBase示例 Spark读取HBase需要理清HBase的配置，这里给出一个实际的示例。 Spark读取Hbase的时候要注意一次读取的记录数量，需要参考hbase机器的QPS和业务的并发使用情况来设置一次最多读取多少条合适，不然如果业务并发大很可能就会把Hbase集群搞崩溃。 import org.apache.hadoop.hbase.HBaseConfiguration im...
spark操作HBASE
mllhxn的专栏
09-26 2355
转：http://www.cnblogs.com/seaspring/p/5631112.htmlimport org.apache.hadoop.hbase.util.Bytes import org.apache.hadoop.hbase.{HColumnDescriptor, HTableDescriptor, TableName, HBaseConfiguration} import org
Spark读取Hbase (scala版)
南风知我意
07-17 2624
spark 读取 Hbase数据（put、scan）
spark读取hbase数据 python
最新发布
06-08
同时，引用[3]提到了一种转换思路（将HBase数据映射到Hive表，然后直接读取Hive表得到DataFrame），但用户明确要求使用Spark读取HBase的示例代码，因此我们主要展示第一种方式。注意：在Spark中读取HBase数据通常...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值