大数据计算引擎(五)—— Phoenix

Phoenix 第 1 章 Phoenix 简介 1.1 Phoenix 定义 Phoenix 最早是 saleforce 的一个开源项目,后来成为 Apache 的顶级项目。 Phoenix 构建在 HBase 之上的开源 SQL 层. 能够让我们使用标准的 JDBC API 去建表, 插入数据和查询 HBase 中的数据, 从而可以避免使用 HBase 的客户端 API. 在我们的应用和 H... 阅读详情
Phoenix 是一个基于 HBase 的开源 SQL 引擎,可以使用标准的 JDBC API 代替 HBase 客户端 API 来创
建表,插入数据,查询你的 HBase 数据
Phoenix 完全使用 Java 编写,作为 HBase 内嵌的 JDBC 驱动。 Phoenix 查询引擎会将 SQL 查询转换为
一个或多个 HBase 扫描,并编排执行以生成标准的 JDBC 结果集 。直接使用 HBase API 、协同处理
器与自定义过滤器,对于简单查询来说,其性能量级是毫秒,对于百万级别的行数来说,其性能量
级是秒
Phoenix 性能
Phoenix 是构建在 HBase 之上的 SQL 引擎
Phoenix 通过以下方式实现高性能操作 HBase
  • 编译你的SQL查询为原生HBase的scan语句
  • 检测scan语句最佳的开始和结束的key
  • 精心编排你的scan语句让他们并行执行
  • 推送你的WHERE子句的谓词到服务端过滤器处理
  • 执行聚合查询通过服务端钩子(称为协同处理器)
  • 实现了二级索引来提升非主键字段查询的性能
  • 统计相关数据来提高并行化水平,并帮助选择最佳优化方案
  • 跳过扫描过滤器来优化IN,LIKE,OR查询
  • 优化主键的来均匀分布写压力
官网地址:
http://phoenix.apache.org/
下载地址: https://mirrors.cnnic.cn/apache/phoenix/apache-phoenix-4.14.0-cdh5.14.2/bin/
tar -xvzf apache-phoenix-4.14.0-HBase-1.1-bin.tar.gz -C ../servers/
将 phoenix 目录下的 phoenix-4.14.0-HBase-1.1-server.jar ( phoenix-4.14.0-cdh5.14.2-server.jar )、
phoenix-core-4.14.0-HBase-1.1.jar ( phoenix-core-4.14.0-cdh5.14.2.jar )拷贝到各个 hbase 的 lib 目
录下:
cp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar
/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hbase/lib
scp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar
hadoop4:/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hbase/lib
scp phoenix-4.14.0-cdh5.14.2-server.jar phoenix-core-4.14.0-cdh5.14.2.jar
hadoop5:/opt/cloudera/parcels/CDH-5.14.0-1.cdh5.14.0.p0.24/lib/hbase/lib
将 hbase 的配置文件 hbase-site.xml 、 hadoop/etc/hadoop 下的 core-site.xml 、 hdfs-site.xml 放到
phoenix/bin/ 下,替换 phoenix 原来的配置文件
# 进入到 hbase bin 目录
cd /data/software/phoenix-4.14/bin
# 备份原先的 hbase-site.xml 文件
mv hbase-site.xml hbase-site.xml.bak
ln -s $HBASE_HOME /conf/hbase-site.xml
ln -s $HADOOP_HOME /etc/hadoop/core-site.xml
ln -s $HADOOP_HOME /etc/hadoop/hdfs-site.xml
重启 hbase 集群,使 Phoenix 的 jar 包生效:
./sqlline.py hadoop3:2181

感谢阅读!!!

大数据平台的软件有哪些? 查询引擎 一、Phoenix 简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。 Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器,对于简单... 阅读详情

相关推荐

大数据HBase(八):Apache Phoenix的基本介绍

全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。 目录 前言 系列历史文章 Apache Phoenix的基本介绍 Apache Phoenix让Hadoop中支持低延迟OLTP和业务操作分析。 使用Phoenix 是否会影响HBase的性能呢? 那些公司在使用Phoenix ? 官方性能测试 前言 2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大...

Lansonli(蓝深李)的博客 2704

大数据之Phoenix基本介绍

Phoenix基本介绍

weixin_43339889的博客 1764

【大数据Phoenix系列】 Phoenix知识体系总结(2021版)

【大数据Phoenix系列】 Phoenix知识体系总结(2021版)

weixin_54707168的博客 530

phoenix

第1章phoenix的安装 对于HBase而言,如果想精确地定位到某行记录,唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据,就必须逐行地比较每一列的值,即全表扫瞄。对于较大的表,全表扫瞄的代价是不可接受的。 但是,很多情况下,需要从多个角度查询数据。例如,在定位某个人的时候,可以通过姓名、身份证号、学籍号等不同的角度来查询,要想把这么多角度的数据都放到row...

m0_46866655的博客 433

使用Ambari整合的各大数据组件版本(hadoop,spark,hbase,phoenix)等

使用Ambari整合的各大数据组件版本(hadoop,spark,hbase,phoenix)等

NE5532A与JRC4580在低噪声音频电路设计中的关键应用

本文深入探讨了经典运算放大器NE5532A与JRC4580在低噪声音频电路设计中的核心应用。文章从噪声模型分析入手,阐述了针对低阻抗信号源时,如何利用这两款BJT输入运放的低电流噪声特性进行优化设计。通过对比两者参数与实战守则,为设计高保真音频前级、耳机放大等电路提供了从原理图到PCB布局的完整低噪声解决方案。

weixin_29295541的博客 327

一文读懂大数据工具Phoenix:让你的数据管理更高效!

Phoenix,最初由saleforce开发并开源,后成为Apache基金会的顶级项目。它是一个构建在HBase上的SQL层,可以使用标准的JDBC APIs而不是HBase客户端APIs来创建表、插入数据和查询HBase中的数据。此外,Phoenix还完全使用Java编写,作为HBase内嵌的JDBC驱动,将SQL查询转换为一个或多个HBase扫描。

qq_45746668的博客 1246

Android息屏后台任务保活实战:从定时器失效到厂商白名单破解

本文深入探讨了Android应用在息屏后定时任务失效的根源,即系统为省电而触发的休眠机制。文章提供了从传统方案失效分析到实战破解的完整路径,核心在于引导用户将应用加入电池优化白名单并开启自启动权限,从而合法绕过限制。同时,结合WorkManager、AlarmManager等可靠定时方案,实现稳定的后台任务执行。

weixin_28475533的博客 422

大数据组件详解:Spark、Hive、HBase、Phoenix 与 Presto

随着大数据技术的快速发展,各种大数据处理框架和工具也应运而生。其中,Spark、Hive、HBase、Phoenix 和 Presto 是广泛应用于大数据领域的几款核心组件,它们各自擅长处理不同类型的大数据任务。本文将详细介绍这些技术的特点、应用场景以及它们之间的区别和联系。

fudaihb的博客 3755

用 Coze 打造纯自动化 AI 情报助手

本文将引导您逐步构建一个简易的AI情报助手,从提示词到工作流,再到卡片消息,详细讲解了如何利用Coze平台开发自动化工具。过程简单易懂,何不亲自动手一试?如果您对此类内容感兴趣,敬请关注本作者。未来,我将带来更多精彩的AI工具教程,助您迅速掌握各类AI应用。在这个AI时代,让您领先一步。t=O83A2AGI.NET AI 教程 震撼!用 Coze 打造纯自动化 AI 情报助手震撼!

xinzhaobuxuan的博客 2531

【AI大模型应用开发】3.2 RAG实战 - RAG应用+UI实现加载本地文件并对话

前面我们实现了RAG基本流程,今天我们在此基础上给它加个UI界面,在浏览器打开,实现上传本地文件、解析,并用大模型实现与该文档的对话。也就是一个阉割版demo版的ChatPDF或知识库对话系统。

同学小张的博客 3053

15分钟搞定OLAP查询引擎Phoenix

Phoenix is an open source SQL skin for HBase. You use the standard JDBC APIs instead of the regular HBase client APIs to create tables, insert data, and query your HBase data.(Phoenix是构建在HBase上的一个SQL层...

liinux-Talk is cheap,show me the code. 635

TGRS 2026 即插即用 | 注意力篇 | SCFM:双向交叉显著性引导注意力,高层语义与低层细节的双向互补!

本文介绍了MPCNet中的语义引导交叉注意力融合模块(SCFM),该模块通过双向交叉显著性引导机制实现跨尺度特征融合。SCFM创新性地结合了高层语义和低层细节的互补信息,通过轻量局部空间注意力预增强和坐标注意力全局融合引导,显著提升了红外小目标检测的精度。实验表明,SCFM在多个数据集上达到SOTA性能,同时保持轻量高效的计算特性,支持端侧设备部署。 SCFM的核心贡献包括: 双向交叉显著性引导机制,实现语义与细节的互补融合 轻量局部空间注意力预增强模块,计算量仅为传统方法的1/10 坐标注意力全局融合引导

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 145

15分钟了解Apache Phoenix(HBase的开源SQL引擎)

翻译自官方文档(http://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html),翻译的不好,望轻拍砖!什么是Phoenix?Phoenix是一个开源的HBase的SQL外壳。你可以使用标准的JDBC API代替HBase客户端API来创建表,插入数据,查询你的HBase数据。不要在我的程序和HBase之间增加额外的层,它只会拖慢速度的?事实

Lnho的专栏 1万+

4、风险管理、信息安全与信息管理的核心原则

本文深入探讨了风险管理、信息安全与信息管理的核心原则,涵盖Risk IT框架、ISO 31000标准以及信息安全与信息管理的关键原则。通过案例分析与实际应用挑战的解析,帮助组织更好地应对数字化时代的风险与安全问题,实现可持续发展。

bread的博客 120

华为OD统一考试 - 模拟消息队列(Java & Python& JS & C++ & C )

让我们来模拟一个消息队列的运作,有一个发布者和若干消费者,发布者会在给定的时刻向消息队列发送消息,

算法大师! 3518

都是 HBase 上的 SQL 引擎,Kylin 和 Phoenix 有什么不同?

大数据时代,数据的价值越来越被重视,企业从海量大数据中挖掘所需要的信息,用来驱动业务决策以获得更大的商业价值。 与此同时,出现了越来越多的大数据技术帮助企业进行大数据分析,例如 Apache Hadoop,Hive,Spark,Presto,Drill,以及今天我们即将介绍的 Apache Kylin 和 Apache Phoenix 项目等,都是使用 SQL 语言就可以分析大数据,极大地降低了...

varyall的专栏 845

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Phoenix 技术详解与对比 —— 设计思想、源码剖析、方法论全景

fill:#333;color:#333;color:#333;fill:none;SQL/JDBC 客户端Phoenix SQL 解析&优化结果合并返回Phoenix 让大数据存储与关系型 SQL 查询无缝融合,兼具海量数据的弹性扩展与 SQL 的易用性,是现代大数据实时分析和数据仓库的关键工具。掌握其架构、优化技巧、索引机制和与大数据生态的集成方式,将极大提升大数据平台的开发与运维能力。建议结合官方文档、源码、EXPLAIN 工具和实际业务场景深入理解 Phoenix 的内部机制与最佳实践。

IT技术学习与工作笔记分享 1309

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

HBase场景 | 都是HBase上的SQL引擎,Kylin和Phoenix有什么不同?

大数据时代,数据的价值越来越被重视,企业从海量大数据中挖掘所需要的信息,用来驱动业务决策以获得更大的商业价值。与此同时,出现了越来越多的大数据技术帮助企业进行大数据分析,例如 Apache Hadoop,Hive,Spark,Presto,Drill,以及今天我们即将介绍的 Apache Kylin 和 Apache Phoenix 项目等,都是使用 SQL 语言就可以分析大数据,极大地降低了大数...

weixin_33806914的博客 137

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

一文揭秘HBase 上的 SQL 引擎,Kylin 和 Phoenix 有什么不同

1.1 Apache Kylin 介绍 Kylin 是一个分布式的大数据分析引擎,提供在 Hadoop 之上的 SQL 接口和多维分析能力(OLAP),可以做到在 TB 级的数据量上实现亚秒级的查询响应。 ...

徐雄辉笔记 525

大数据技术之 --Apache Phoenix

简介 Phoenix是一个在Hbase上面实现的基于Hadoop的OLTP技术,具有低延迟、事务性、可使用SQL、提供JDBC接口的特点。 而且Phoenix还提供了Hbase二级索引的解决方案,丰富了Hbase查询的多样性,继承了Hbase海量数据快速随机查询的特点。 Phoenix完全使用Java编写,作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBa...

qq_41794285的博客 1028

clickhouse hbase性能对比_都是 HBase 上的 SQL 引擎,Kylin 和 Phoenix 有什么不同?

作者 l 翟娜来源 l apachekylin(ID:ApacheKylin)大数据时代,数据的价值越来越被重视,企业从海量大数据中挖掘所需要的信息,用来驱动业务决策以获得更大的商业价值。与此同时,出现了越来越多的大数据技术帮助企业进行大数据分析,例如 Apache Hadoop,Hive,Spark,Presto,Drill,以及今天我们即将介绍的 Apache Kylin 和 Apa...

weixin_39875629的博客 1329

python phoenix API

一、phoenix Phonix是搜索引擎,n个版本之前是作为独立的产品存在的,现在集成到hbase里面。Phoenix是一个开源的HBASE SQL层。Phoeinx可以用标准的JDBC API替代HBASE client API来创建表,插入和查询查询HBASE中的数据。 Phoenix作为应用层和HBASE之间的中间件,以下特性使它在大数据量的简单查询场景有着独有的优势 ...

qq_21153619的博客 1294

Apache Phoenix 全面解析:介绍、作用、工作流程与 HBase 关系

Apache Phoenix 是一个基于 HBase 的开源 SQL 引擎,为 HBase 提供标准 SQL 接口和 JDBC 驱动,解决了 HBase 原生 API 操作复杂的问题。其核心作用包括简化 HBase 数据操作、优化查询性能(通过二级索引、计算下推等技术)、集成生态工具(如 BI 工具、Flink/Spark)以及简化表结构管理。Phoenix 工作流程为:SQL 解析→查询优化→生成 HBase 操作序列→分布式执行→结果聚合。Phoenix 与 HBase 是上层工具与底层存储的关系,Ph

Petmaddox的博客 1241
上一篇: Hadoop技术栈(八)Hbase
下一篇: 常见BI工具
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值