Phoenix编译支持CDH

部署Hbase + Phoenix,并通过DBeaver连接Phoenix 1.Hbase安装步骤https://blog.csdn.net/muyingmiao/article/details/103002598 2 Phoenix的安装 2.1 Phoenix的官网http://phoenix.apache.org/ 2.2 Phoenix 安装文件地址http://www.apache.org/dyn/closer.lua/phoenix/https://mirr... 阅读详情

作者:Syn良子 出处:http://www.cnblogs.com/cssdongl/p/6898227.html 转载请注明出处

最近由于想调研下低延迟的数据查询框架,那么基于SQL on Hbase的Phoenix是必不可少的,先熟悉下它的编译和部署并记录下过程

Phoenix编译

由于当前我的测试集群是CDH5.4.0,而它并没有把phoenix include进去,因为需要自己修改phoenix的pom依赖及几个类文件,然后进行编译后才能使用,过程如下

源码下载

先去GitHub下载v4.6.0-Hbase-1.0的源码zip包,解压后导入到本地IDE.

源码修改

  1. 先修改repository下的依赖,让phoenix依赖CDH的repository而不依赖apache原生的,修改完如下截图
  2. 修改几个重要的依赖组件如hbase,flume,hadoop等版本依赖,如下图所示,全部修改成CDH的对应版本

    注意上图我本来想修改pig也为对应CDH版本的,但是修改后无法编译成功,因此暂时不动它了.
  3. 修改LocalIndexMerger.java类中82行rmt.prepareMutationsForMerge方法调用,添加第6个参数传值为1
  4. 修改IndexSplitTransaction.java类中275行MetaTableAccessor.splitRegion方法调用,添加第6个参数传值为1

源码编译

第二步中修改完成后,直接在phoenix源代码根目录下执行mvn clean install -DskipTests后等待编译成功
随后可以去phoenix-assembly\target目录下查看结果,如下图

Phoenix部署

编译完成后,上面结果图中除了phoenix-4.6.0-HBase-1.0.tar.gz是已经打包好解压后就可以直接用的phoenix外,其他的7个jar包都是必不可少的,随后需要进行几步安装和部署才能使用,如下

phoenix安装

To install a pre-built phoenix, use these directions:
Download and expand the latest phoenix-[version]-bin.tar.
Add the phoenix-[version]-server.jar to the classpath of all HBase region server and master and remove any previous version. An easy way to do this is to copy it into the HBase lib directory (use phoenix-core-[version].jar for Phoenix 3.x)
Restart HBase.
Add the phoenix-[version]-client.jar to the classpath of any Phoenix client.

可以参考官网这句描述,这里不用再download官网的phoenix-[version]-bin.tar了,上面的phoenix-4.6.0-HBase-1.0.tar.gz可以直接用,如果不放心的话可以去官网download,具体步骤如下

  • 在Hbase集群任意一节点下解压phoenix-4.6.0-HBase-1.0.tar.gz,随后将那7个jar包拷贝到解压后的lib目录下(如果存在其他版本需要先删除掉)
  • 将phoenix-4.6.0-HBase-1.0-server.jar拷贝到每一个regionserver以及master的classpath下,这里基于CDH,可以做如下拷贝
    比如,cp phoenix-4.6.0-HBase-1.0-server.jar /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/lib/hbase/lib
  • 重启Hbase集群

Phoenix测试

进入phoenix根目录的bin下,执行./sqlline.py localhost:2181,出现如下结果表示phoenix安装成功

【Apache Phoenix简介、存储结构、基本操作、安装】 Apache Phoenix简介、存储结构、基本操作、安装(附安装包) 1. 简介、概述 1.1 phoenix 特点 1.2 存储结构 1.3 Phoenix 与 Hbase 之间的表映射关系 1.4 Phoenix数据类型 2. 基于CDH6.3.2离线安装 Phoenix Parcel 5.0.0-2.0(附安装包) 3. Phoenix 常用命令、基本操作 4. 补充...... 阅读详情

相关推荐

hadoop组件---面向列的开源数据库(六)--使用sql访问hbase的组件--phoenix全面了解和安装

phoenix简介 我们在之前得文章中已经学习了thrift 以及使用 thrift 对hbase进行访问。 hadoop组件—面向列的开源数据库(三)—hbase的接口thrift简介和安装 hadoop组件—面向列的开源数据库(五)–java–SpringMVC查询hbase 使用过程中 可以感受到 这种访问方式 是 精确到 行列的,操作比较繁琐,如果是进行复杂的运算统计会很麻烦。 phoen...

直到世界的尽头 1039

CDH-6.3.2完整安装附带资源包

CDH-6.3.2完整安装附带资源包

java技术分享 2048

适用于CDH6.3.1的Phoenix查询引擎Parcel包

Phoenix主要通过JDBC驱动与HBase进行交互,为用户提供了一种快速、简单的SQL查询接口。它允许用户创建表、索引以及视图,并提供诸如事务支持、二级索引、UDF(用户定义函数)等高级特性。

weixin_42577735的博客 794

Phoenix4.10.0源码编译(Centos6.10)

源码包准备【apache-phoenix-4.10.0-HBase-1.2-src.tar.gz】 我的HBase版本是1.2.6,所以这里选择的是HBase-1.2,HBase的源码编译可以参考我的另一篇博客: HBase编译:https://blog.csdn.net/DataIntel_XiAn/article/details/99874230 因为之前编译过Hadoop所以整个环...

一名假的程序猿 472

CDH5.13-phoenix-4.11.0-HBase-1.2源码包 编译可用

http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.13.2/parcels/ 请自行跳转至 官方下载对应parcels

phoenix4.13.1-hbase1.2-cdh5.13源码可编译parcel集成

http://www.apache.org/dist/phoenix/apache-phoenix-4.14.0-cdh5.13.2/parcels/ 请自行跳转至 官方下载对应parcels

Phoenix(1):Phoenix编译cdh版本(5.7.0)

一、实现功能 因为phoenix官网只提供有限对应cdh版本的phoenix,所以,当需要针对自己cdh版本的phoenix的时候,需要重新编译,从而提升兼容性。 二、编译步骤 1.下载源码 https://github.com/chiastic-security/phoenix-for-cloudera/tree/4.9-HBase-1.2-cdh5.9 2.将源码上传linux服...

小蚯蚓的博客 2865

phoenix-5.0.0-cdh6.2.0-client.jar

hbase phoenix 客户端连接jdbc的jar包,SQuirreL SQL Client,DbVisualizer 等客户端连接hbase配置使用

如何在CDH中使用Phoenix

1.文档编写目的 昨天我们简单介绍了一下Apache Phoenix,请参考Cloudera Labs中的Phoenix。今天我们主要讲述如何在CDH中安装配置Phoenix,并会做一些使用示例。 内容概述 1.安装及配置Phoenix 2.Phoenix的基本操作 3.使用Phoenix bulkload数据到HBase 4.使用Phoenix从HBase中导出数据到HDFS 测试环...

阿正的博客 1296

CDH6.3.2安装包及安装教程网盘下载地址.txt

从2021年1月31日开始,所有Cloudera软件都需要有效的订阅,并且只能通过付费墙进行访问。也就是说CDH各版本都不能免费获取了。 安装教程中详细说明了安装过程中遇到的各种问题,并且整个过程不需要依赖外网,全部为离线安装。 网盘下载《CDH6.3.2安装包及安装教程网盘下载地址.txt》,包括: manifest.json CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel PHOENIX-5.0.0-cdh6.2.0.p0.1308267-el7.parcel.sha CentOS7.6下CDH6.3.2离线安装教程(正式环境).docx

DDM-MIMO-FMCW雷达速度模糊与解模糊MATLAB仿真

本文深入解析了DDM-MIMO-FMCW雷达中的速度模糊现象及其解模糊方法,通过MATLAB仿真详细展示了相位编码解调、速度扩展算法和混合波形设计三大解决方案。文章还提供了参数配置、信号建模和结果可视化的实用技巧,并分享了工程实践中的避坑指南,帮助开发者高效解决雷达信号处理中的速度模糊问题。

weixin_31528001的博客 349

cdh phoenix java api_Phoenix编译支持CDH

最近由于想调研下低延迟的数据查询框架,那么基于SQL on Hbase的Phoenix是必不可少的,先熟悉下它的编译和部署并记录下过程Phoenix编译由于当前我的测试集群是CDH5.4.0,而它并没有把phoenix include进去,因为需要自己修改phoenix的pom依赖及几个类文件,然后进行编译后才能使用,过程如下源码下载先去GitHub下载v4.6.0-Hbase-1.0的源码zip...

weixin_33534616的博客 187

TPL5010硬件看门狗电路

在做一些采集频率很低的产品的时候,会考虑电池供电,比如表、电气表等,为了控制功耗,往往会在设备不需要工作的时候让它进入低功耗模式。为了设备的稳定性,避免死机后无法恢复,必须配置看门狗,一般的看门狗芯片,喂狗间隔时间是几秒钟。这样在喂狗和低功耗之间就产生了一个矛盾,频繁的喂狗就需要频繁的醒过来,这样功耗就很难做到很低。这颗看门狗芯片,特别适合上面的应用。2小时的间隔意味着主控芯片每2小时醒过来喂狗一次即可,而在2.5V供电的情况下,功耗仅仅35nA,几乎可以忽略不计。

zxm8513优快云博客 3308

phoenix-4.8.0整合hbase-1.2.0-cdh5.8.0

1. 前言 phoenix-4.8.0版本已经出了挺长一段时间了,之前一直有用开4.6版本,不过4.6版本的本地索引还不成熟,而且也存在着一些bug,在网上找到一些对旧版本的本地索引的描述 APPROACH 1 is a good start for local indexes, but I think we are not getting the full benefits fo

xiaolang85的专栏 1663

开源网格生成利器Gmsh:从入门到二次开发实战指南

本文详细介绍了开源网格生成工具Gmsh,从基础概念、安装配置到核心功能实战,提供了全面的入门指南。重点阐述了其强大的二次开发能力,通过Python API实现参数化建模、边界层网格生成以及与FEniCS、OpenFOAM等求解器的集成,为有限元分析和计算流体力学仿真提供灵活高效的自动化网格划分解决方案。

weixin_29066781的博客 435

达梦的自定义类型和存储过程支持创建同义词,不支持同义词使用?

达梦8的自定义类型和存储过程支持创建同义词,但是通过同义词调用报错,而在oracle上验证没有问题,难道是发现了达梦的bug了?非也非也,详情请见下文

wy071218的专栏 979

phoenix for cdh5.9 搭建以及注意点

phoenix 和CDH整合,大数据

qq_34009542的博客 1236

Materials Studio实战技巧(八)——利用片段库高效构建有机金属配合物

本文详细介绍了在Materials Studio中利用Fragment Browser(片段浏览器)高效构建有机金属配合物的实战技巧。通过调用预置的Metal Templates和Ligands库,用户可以快速搭建如茂金属催化剂等复杂分子骨架,并利用对称性操作精确控制Meso与Rac构型。文章还涵盖了自定义片段库的创建与使用,能显著提升建模效率,适用于计算化学与材料模拟领域的研究者。

wine的专栏 936

基于cdh570的phoenix编译

一。背景近日重构产品的监控告警系统,原来是基于hbase实现,做的比较粗糙,无法实现数据聚合等功能,遂决定重构。 原来基于hbase实现,所有的读取代码也都是用的原生hbase api获取,除了冗余度问题外,还有就是可维护性较差,遂决定变更存储方案。 通过筛选,有以下几种方案。 优点 缺点 hbase 兼容性较好 hbase+phoenix 设计简单;有现成的开原方案amb

Show something 1547

Xshell 连接 VMware虚拟机操作 截图和使用

vmwareVMware总部位于美国加州帕洛阿尔托(Palo Alto),是全球云基础架构和移动商务解决方案厂商,提供基于VMware的解决方案,企业通过数据中心改造和公有云整合业务,借助企业安全转型维系客户信任,实现任意云端和设备上运行、管理、连接及保护任意应用Xshell(安全终端模拟软件)Xshell [1]是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。

小 tom的博客 802

Python爬虫实战:基于异步爬虫与机器学习的数据采集——以电商平台在线评论有用性分析为例

内容涵盖爬虫原理、反爬虫策略应对、数据清洗、数据存储以及简单的数据分析预览,并为后续利用机器学习模型(如逻辑回归、随机森林)分析评论有用性打下坚实的数据基础。特别是在电子商务领域,在线评论作为UGC的一种主要形式,深刻影响着消费者的购买决策和商家的信誉体系。然而,平台上的评论质量参差不齐,充斥着大量无意义的灌水、广告甚至虚假评论。因此,如何自动识别和筛选出“有用”的评论,成为了学术界和工业界共同关注的焦点。我们选择目前Python爬虫领域最前沿、效率最高的技术组合,以确保爬虫的稳定性、速度和可扩展性。

2201_76125261的博客 107

学习hadoop遇到的问题(phoenix for cdh5.9 搭建以及注意点)

参考文档 https://www.cnblogs.com/zlslch/p/7096402.html 集群节点 三个mini1,mini2,mini3 1,下载 phoenix for CDH下载位置,我下载的是目前phoenix对应的cdh最高版本5.9,但是我用的是CDH最高版本5.13(目前最高版本。测试5.13,生产上用的是CDH5.11) https://github.com/chi...

小马哥的博客 395

yolov26改进 | 融合改进篇 | 轻量级移动端网络ShuffleNetV2融合CCFM参数量仅百万(附代码+修改教程)

本文介绍ShuffleNetV2与跨尺度特征融合模块CCFM融合改进的YOLOv26。ShuffleNetV2以硬件效率为导向,通过通道分割、轻量卷积和Channel Shuffle减少冗余计算与内存访问,在降低参数量和GFLOPs的同时保持高效特征提取;CCFM进一步加强不同尺度特征交互,弥补轻量主干语义表达不足的问题。本人在轻量模型上测试后,参数量和计算量明显下降,检测精度有一定提升,适合移动端、边缘设备及实时检测任务。文中提供完整代码、配置文件、模块注册及Codex修改思路,方便复现、对比和二次创新。

Snu77的博客 200

CDH集群安装Phoenix服务

背景: 之前我们都是通过原生的 hbase-java api根据业务需求来查询hbase,每有一个查询需求都需要定制化开发相关的查询代码,较为麻烦,而且在性能优化等方面优化也是需要着重注意; 目前业界使用 Phoenix操作HBase比较普遍,该方案无论是开发效率还是性能提升都能得到不错的保证,在这篇博客中记录下CDH集群如何安装Phoenix服务~ 集群信息: 版本:CDH 5.13.0 四台机...

Abysscarry的博客 1854

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

上一篇: HiveHbase集成实践
下一篇: Hbase FilterList使用总结
Syn良子
博客等级 码龄15年 7粉丝 45原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值