15分钟了解Phoenix

Phoenix是一款开源软件,为HBase提供了一层SQL接口,允许用户通过标准JDBC API进行表的创建、数据的插入和查询等操作。Phoenix不仅维持了与原生HBase客户端相当的性能水平,在某些场景下还能实现性能超越,这得益于其优化的扫描操作、服务端过滤和计算下推等功能。

关于Phoenix:

  • OLTP and operational analytics for Apache Hadoop
  • Phoenix is an open source SQL skin for HBase.
  • We put SQL back in NoSQL
  • Phoenix is relational layer over HBase

以下部分翻译自:https://phoenix.apache.org/Phoenix-in-15-minutes-or-less.html

Phoenix是什么新东西?

Phoenix为HBase穿上一层SQL的外衣。所以你可以使用标准的JDBC API来创建表、插入数据、查询HBase中的数据,而不是使用常规的HBase客户端API。

在HBase和应用程序之间额外加入一层(Phoenix)会影响性能吗?

不会。跟原生的HBase客户端相比,Phoenix性能一样好甚至更好,主要通过以下方式:

  • 将SQL查询编译成原生的HBase scan操作。
  • 优化scan key的开始和结束位置
  • 规划scan操作的并行
  • 把计算移到数据节点
  • 将where语句转化为服务端的过滤
  • 聚合操作通过服务端的钩子来完成(co-processor)

除此之外,我们还做了一些工作使得性能得到一些有趣的提升:

  • 使用二级索引提高非row key的查询
  • 收集统计信息用于改善并行及优化决策
  • 使用skip scan优化IN、LIKE、OR查询。
  • 对row key进行加盐,使得写负载分布更均匀

Phoenix很快,但是为什么是SQL?

基于“使用人们熟悉的方式”,有什么方式可以使得HBase更容易使用吗?用JDBC和SQL:

  • 减少代码量
  • 对用户屏蔽行那你优化的细节
  • 方便与现有其他工具集成

但是SQL如何能够支持我最喜欢的HBase特性x,y,z?

你一定没有关注最近的HBase Meetup吧? SQL表达的是你想要什么样的数据,而不是如何获取数据。(注:声明式和过程式)。 查看我的演讲PPT,获取Phoenix目前支持的以及计划支持的HBase特性。我们期待得到反馈,提交issue或者加入我们的邮件组.

说了那么多,我只想开始动手!

好的,跟着按照我们的安装教程:

  • 下载并解压tar安装包
  • 复制相应版本的phoenix 服务端jar包到每一台HBase region server的lib目录
  • 重启region server
  • 添加phoenix 客户端jar包到你的HBase客户端。
  • 下载并设置SQuirrel作为你的SQL客户端,你就可以在你的HBase集群上执行adhoc SQL查询。

我不想下载和配置任何东西

没问题,你可以创建你自己的SQL脚本,并使用给我们的命令行工具执行脚本。让我们看一个例子。进入phoenix安装目录中的bin目录。

  • 首先,创建us_opulation.sql文件,包含一个表的定义:
CREATE TABLE IF NOT EXISTS us_population (
      state CHAR(2) NOT NULL,
      city VARCHAR NOT NULL,
      population BIGINT
      CONSTRAINT my_pk PRIMARY KEY (state, city));
  • 创建us_population.csv文件,并放入以下数据:
NY,New York,8143197
CA,Los Angeles,3844829
IL,Chicago,2842518
TX,Houston,2016582
PA,Philadelphia,1463281
AZ,Phoenix,1461575
TX,San Antonio,1256509
CA,San Diego,1255540
TX,Dallas,1213825
CA,San Jose,912332
  • 最后,创建查询脚本us_population_queries.sql:
SELECT state as "State",count(city) as "City Count",sum(population) as "Population Sum"
FROM us_population
GROUP BY state
ORDER BY sum(population) DESC;
  • 从命令行执行以下命令
./psql.py <your_zookeeper_quorum> us_population.sql us_population.csv us_population_queries.sql

恭喜你,你已经创建第一个Phoenix表,插入数据并执行查询,而你只花了15分钟左右的时间写了几行代码。

还有什么其他的呢?

你可已使用bin/perfoemance.py脚本创建任意多的数据,然后在上面做一些查询。

为什么叫做Phoenix?是不是其他项目挂了然后这是它的下一代?

很抱歉,我们没有时间和空间了,只能等到下次回答这个问题。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值