spark+phoenix 通过jdbc读取表中的数据

最新推荐文章于 2022-07-07 17:59:33 发布

原创

最新推荐文章于 2022-07-07 17:59:33 发布 · 6.4k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#spark #phoenix

废话不说，直接代码，解决燃煤之急

添加maven配置

<dependency>
   <groupId>org.apache.phoenix</groupId>
   <artifactId>phoenix-core</artifactId>
   <version>${phoenix.version}</version>
</dependency>

<dependency>
  <groupId>org.apache.phoenix</groupId>
  <artifactId>phoenix-spark</artifactId>
  <version>${phoenix.version}</version>
</dependency>

spark读取phoenix中的数据

package com.cctsoft.spark.offline;

im

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

木心文刀

关注关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

利用spark读取phoenix(phoenix-spark)

枫叶的落寞的博客

04-19

6919

为何不是jdbc访问phoenix？具体原因参照phoenix官网地址：(https://phoenix.apache.org/phoenix_spark.html) 为何不是官网提倡的访问方式？官网提倡： import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext import org.apache....

spark+phoenix读取hbase

最新发布

潮落拾贝

01-18

886

这是phoenix官网提供的代码，我执行没成功，显示org.apache.phoenix.spark.datasource.v2.PhoenixDataSource这个找不到，我不知道是我依赖包没引对还是其他原因，我的代码在上面的基础上做了一些改动。然后解压缩，将里面的phoenix-server-hbase-2.4-5.1.3.jar（你的版本可能和我下载的不一致，这个根据hadoop上安装的hbase的版本来定）拷贝到hbase/lib/目录下，然后重启hbase。最后执行成功的结果如下所示。

2 条评论您还未登录，请先登录后发表或查看评论

Spark读写Phoenix

weixin_44695980的博客

07-15

3686

Phoenix是使用Java编写的一个开源项目，基于在HBase之上的一个SQL层，能让我们通过标准的JDBC API读写HBase，而不用Scan或者get的方式，其实底层是将SQL编译成原生的HBase scans进行查询。本文将通过Spark的方式来读写Phoenix，基于以下版本开发测试。 scala-version：2.11.8 spark-version：2.2.0 ...

学习笔记：Spark 读取和写入Phoenix数据

瑞瑞ruirui的博客

12-09

2801

Phoenix 是使用 Java 编写的一个开源项目，基于在 HBase 之上的一个 SQL 层，能让我们通过标准的 JDBC API 读写 HBase，而不用 scan 或者 get 的方式，其实底层是将 SQL 编译成原生的 HBase scans 进行查询。引入依赖： <dependency> <groupId>org.apache.phoenix</groupId> <artifactId&g

spark+phoenix

weixin_30535843的博客

10-15

322

phoenix作为查询引擎，为了提高查询效率，为phoenix表创建了二级索引，而数据是sparkstreaming通过hbase api直接向hbase插数据。那么问题来了，对于phoenix的二级索引，直接插入底层hbase的源表，不会引起二级索引的更新，从而导致phoenix索引数据和hbase源表数据不一致。而对于spark+phoenix的写入方式，官方有文档说明，但是有版本限制，...

Spark 之 Phoenix

weixin_36630761的博客

08-16

877

直接上官网地址： http://phoenix.apache.org/phoenix_spark.html 也可以参考：http://www.cnblogs.com/laov/p/4137136.html The phoenix-spark plugin extends Phoenix’s MapReduce support to allow Spark to l

spark通过Phoenix读取hbase数据

热门推荐

安小飞的博客

01-24

1万+

此篇文章主要介绍用spark如何读取hbase中的数据。 spark官方提供了用spark直接读取hbase的方法，但是直接读取hbase的数据类似于hbase shell中的scan方法全表扫描，当然如果知道rowkey当然就不会有什么问题，但是在真实的业务场景中onebyone通过rowkey去取hbase的数据是不现实的，这样也没用必要用spark去跑数据，因为发挥不出spark的性

Spark SQL精华及与Hive的集成（spark sql原理，API,操作外部源数据，SQL函数）

May_J_Oldhu的博客

11-25

1153

Spark SQL精华及与Hive的集成一.Spark SQL原理1.SQL on Hadoop2.spark的前身：shark3.Spark SQL架构4.Spark SQL运行原理5.Catalyst优化器（1）逻辑计划（2）优化（3）物理计划二.Spark SQL API1.Dataset（1）基本概念（2）使用Case Class创建Dataset2.Dataframe（1）基本概念（2）RDD与DataFrame对比（3）创建DataFrame及基本操作（4）RDD->DataFrame方式

phoenix 读取mysql_Phoenix JDBC访问

weixin_39826089的博客

01-19

236

引入Phoenix jar在maven项目中引入Phoenix jar包：org.apache.phoenixphoenix-core4.8.0-HBase-1.1备注：版本需与hbase版本一致，否则会出现问题使用JDBC访问PhoenixPhoenix除了提供SQLLine这种命令方式，同时提供了JDBC代码的访问方式。packagecom.dajiangtai.phoenix;importj...

Spark Streaming 调优实践

yang灬仔

08-27

981

在使用 Spark 和 Spark Streaming 时，当我们将应用部署在集群上时，可能会碰到运行慢、占用过多资源、不稳定等问题，这时需要做一些优化才能达到最好的性能。有时候一个简单的优化可以起到化腐朽为神奇的作用，使得程序能够更加有效率，也更加节省资源。本文我们就来介绍一些能够提高应用性能的参数和配置。另外需要指出的是，优化本身是一个具体性很强的事情，不同的应用及落地场景会有不同的优化方...

JDBC方式访问 Phoenix

修行修心

09-05

5320

JDBC方式访问 Phoenix

phoenix hbase java_java jdbc访问hbase phoenix

weixin_36151066的博客

02-13

287

上面直接介绍了druid访问hbase phoenix的案例hbase Phoenix整合mybatis DruidDataSource这里还是贴一下jdbc直接访问的方式。publicstaticvoidmain(String[]args){try{Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");Propertiespr...

Spark读写Phoenix新版本

南风知我意

05-01

1286

项目场景： Spark + hive + Phoenix 新版本引入依赖 <spark.version>3.0.3</spark.version> <scala.version>2.12.10</scala.version> <phoenix.version>5.1.2</phoenix.version> <dependency> <groupId>org.ap

Phoenix之JDBC整合Spark

南风知我意

07-07

799

spark 通过Phoenix操作Hbase

Spark——Spark读写Phoenix

aof

07-20

882

文章目录1. Spark加载Phoenix表2. Spark持久化数据到Phoenix保存RDD到Phoenix保存DataFrame到Phoenix Phoenix为NoSQL数据库HBase提供了标准SQL和JDBC API的强大功能，且具备完整的ACID事务处理能力。对于小数据量的查询，其性能可以达到毫秒级别；对于数千万行的数据，其性能也可以达到秒级。要使用phoenix-spark插件，需要在项目中添加如下依赖： <dependency> <groupId>

Spark On MaxCompute如何访问Phonix数据

阿里云云栖号

10-14

1319

简介：如何使用Spark On MaxCompute连接Phonix，将Hbase的数据写入到MaxCompute的对应表中，目前没有对应的案例，为了满足用户的需求。本文主要讲解使用Spark连接Phonix访问Hbase的数据再写入到MaxCompute方案实践。该方案的验证是使用hbase1.1对应Phonix为4.12.0。本文从阿里云Hbase版本的选择、确认VPC、vswitchID、设置白名单和访问方式，Phonix4.12.0的客户端安装，在客户端实现Phonix表的创建和写入,Spark代.

PhoenixJDBC

cjwfinal的博客

09-24

794

PhoenixJDBC 1.在pom.xml中加载phoenix依赖 <dependency> <groupId>org.apache.phoenix</groupId> <artifactId>phoenix-core</artifactId> <version>4.15.0-HBase-1.4</version> </

SparkSQL读取数据源

成就源于知识，知识在于积累。

07-14

2977

sparkSQL读取数据源

spark通过phoenix读写hbase（Java版）

xbing的博客

08-06

5931

pom.xml  <dependency> <groupId>org.apache.spark</groupId> <artifactId>spar...

Phoenix 5.0.0 版本与 CDH 6.2.0 集成部署指南

Phoenix 是一个开源的、高性能的、为 HBase 设计的关系型数据库层，允许用户执行 SQL 查询和管理 HBase 中的数据。该压缩文件的标题和描述表明其为 Phoenix 版本 5.0.0 专门适配于 CDH 版本 6.2.0 的构建。标签 '...