Phoenix 使用脚本方式导入 hbase

HBase SQL 工具【 Phoenix 的使用】 HBase SQL 皮肤 Phoenix 阅读详情

1. 说明


phoenix自带了执行sql脚本的功能,这样方便了希望能够直接将一些关系型数据库的数据进行迁移到Hbase(也可以直接使用sqoop进行导入)。


2. 创建脚本


在【PHOENIX_HOME】目录下创建user.sql,内容如下:

-- create table user
create table if not exists user (id varchar primary key,account varchar ,passwd varchar);

-- insert data
upsert into user(id, account, passwd) values('001', 'admin', 'admin');
upsert into user(id, account, passwd) values('002', 'test', 'test');
upsert into user(id, account, passwd) values('003', 'zx', 'zx');

-- query data
select * from user;
   
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10


3. 执行脚本


在【PHOENIX_HOME】目录下执行脚本:

$ ./bin/psql.py 192.168.187.128,192.168.187.129,192.168.187.130:2181 user.sql
   
  • 1
  • 1

这里写图片描述

高能预警:192.168.187.128,192.168.187.129,192.168.187.130:2181这一串参数是hbase集群的zookeeper集群ip与端口号。

HBase创建表以及使用Phoenix操作查询Hbase Hbase创建表 hbase shell进入命令行 1.创建表test1,两个列族为id和message create 'test1', 'id', 'message' 2.向表test1中添加数据 #向行1、列id:id所对应的单元格添加数据1 put 'test1', '1', 'id:id', '1' #向行1、列message:name所对应的单元格添加数据wingkin put 'test1', '1', 'message:name', 'wingkin' put 'test1', '1', ' 阅读详情

相关推荐

【大数据学习 | HBASE高级】hbase-phoenix 与二次索引应用

上面我们学会了hbase的操作和原理,以及外部集成的mr的计算方式,但是我们在使用hbase的时候,有的时候我们要直接操作hbase做部分数据的查询和插入,这种原生的方式操作在工作过程中还是比较常见的,以上这些方式需要使用外部的框架进行协助处理,其实hbase也对外提供了一个直接的操作方式接口插件Phoenix,它和mr不一样,是直接集成在hbase之中的,通过一个工具使得hbase可以完全支持sql操作,其实我们可以将Phoenix当成是一个sql插件,一个可以写sql完成hbase操作的插件,并且在hb

2301_80912559的博客 1927

hbase SQL 框架phoenix使用

1  简介     hbase 提供很方便的shell脚本以及java API等方式对Hbase进行操作,但是对于很对已经习惯了关系型数据库操作的开发来说,有一定的学习成本,如果可以像操作mysql等一样通过sql实现对Hbase的操作,那么很大程度降低了Hbase的使用成本。Apache Phoenix 组件就完成了这种需求,官方注解为 “Phoenix -we put the SQL back...

yang灬仔 692

PhoenixII手机脚本系统(附带教程和完整例子)

本脚本系统主要面向开发环境较弱的移动终端, 强大的脚本语法, 高效的脚本编译器和方便使用的虚拟机系统, 提供第一版教程和一个完整的俄罗斯方块的例子. 希望对大家有用.

phoenix 执行sql脚本

1.Phoenix执行sql脚本 cd /root/phoenix/bin ./psql.py node1,node2,node3:2181 xxx.sql ln -s /root/phoenix/bin/psql.py /usr/bin/psql psql node1,node2,node3:2181 xxx.sql 2.phoenix 交互界面 ...

あずにゃん梓喵的博客 2858

mysql数据导入到hbase中

利用sqoop把mysql数据导入到hbase中,建立phoenix与hbase的映射,用phoenix jdbc操作hbase!达到sql操作nosql!

5分钟搞定阿里云千问大模型API申请:手把手教你获取API Key

本文提供了一份高效的阿里云通义千问大模型API Key获取实战指南。通过清晰的步骤,帮助开发者在五分钟内完成从账号准备、精准导航控制台到创建并验证API Key的全过程,并强调了密钥安全管理和基础调用测试的重要性,助力快速集成AI能力。

ol789012345的博客 1356

shell脚本执行 phoenix 命令,操作数据库表

先写好 sql 脚本,将自己要执行的操作依次写下。 table.sql use log_ana; drop table sample; create table sample(id integer primary key,t1 varchar,t2 varchar); 编写 shell 脚本,将自己的 sql 脚本写入执行命令(我用的是 hbase 的 phoenix) table.sh !#...

weixin_43038063的博客 1497

Win11+VSCode+TeXLive:学术党必备的LaTeX环境配置避坑指南(2024最新版)

本文详细介绍了如何在Windows 11系统下,通过VSCode编辑器与TeXLive发行版配置高效的LaTeX学术写作环境。针对国内用户常见的镜像下载慢、插件配置复杂等问题,提供了优化方案和避坑指南,帮助科研人员和学生快速搭建流畅的学术写作工作流。

plum99的博客 623

Phoenix——Python读写Phoenix

环境:Python 3.6.5,Phoenix 4.14 安装驱动 pip install phoenixdb 样例代码 以下为Phoenix官网样例代码(https://phoenix.apache.org/python.html) import phoenixdb import phoenixdb.cursor database_url = 'http://localhost:8765/' ...

aof 1430

ArduSub程序学习(1)——ardupilot框架整理

AP_HAL层(硬件抽象层)是我们制作 ArduPilot 的方式可移植到许多不同的平台。有一个顶级AP_HAL libraries/AP_HAL,用于定义代码其余部分的接口 有针对具体的板子特性,然后就有了AP_HAL_XXX 子目录,例如,AP_HAL_AVR 用于基于 AVR 的 开发板,AP_HAL_PX4用于 Pixhawk 开发板和 AP_HAL_Linux 基于 Linux 开发板。工具目录tools directories工具目录是杂项支持目录。

weixin_49839886的博客 2816

ROS-订阅与处理激光雷达scan话题

激光雷达通常有四个性能衡量指标:测距分辨率、扫描频率(有时也用扫描周期)、角度分辨率及可视范围。测距分辨率衡量在一个给定的距离下测距的精确程度,通常与距离真实值相差在5-20mm;扫描频率衡量激光雷达完成一次完整扫描的快慢,通常在10Hz及以上;角度分辨率直接决定激光雷达一次完整扫描能返回多少个样本点;可视范围指激光雷达完整扫描的广角,可视范围之外即为盲区。

weixin_42438635的博客 4478

Phoenix(3):Phoenix执行sql脚本

一、实现功能 将需要执行sql语句写入脚本,然后,使用psql.py执行。 二、步骤 1.脚本内容 (1)us_population.sql CREATE TABLE IF NOT EXISTS us_population ( "state" CHAR(2) NOT NULL, "city" VARCHAR(18) NOT NULL, "info"."population" BI...

小蚯蚓的博客 2101

【赛题解析&命令脚本配置】2023年全国职业院校技能大赛GZ073网络系统管理赛项赛题第1套模块A:网络构建 & (五)无线网络配置+(六)出口网络配置-命令配置

【赛题解析&命令脚本配置】2023年全国职业院校技能大赛GZ073网络系统管理赛项赛题第1套模块A:网络构建 & (五)无线网络配置+(六)出口网络配置-命令配置

君逍遥o 408

Phoenix单线程psql方式导入csv数据到hbase

一、准备阶段 1、建表语句 create table student(id integer not null primary key,"cf"."name" varchar,"cf"."age" integer,"cf"."address" varchar); 2、数据准备 说明:这里准备600条测试数据 3、将student01.csv数据放入本地/home/test目录下 ...

hyj 1379

Python爬虫实战:高效爬取Vimeo高清视频

在当今数字化时代,视频内容已成为互联网的重要组成部分。Vimeo作为一个高质量的视频分享平台,拥有大量优质视频资源。然而,Vimeo并未提供直接下载视频的选项,因此,我们需要借助Python爬虫技术来获取这些高清视频。(HTTP Live Streaming)格式存储。Vimeo的视频通常不会直接暴露。Vimeo的视频通常以。

2201_76125261的博客 432

【纯干货分享】常用高速接口眼图模板合集

文章汇集了常见的高速接口的信号眼图测试模板技术要求,比如,LPDDR5/4、PCIe 5.0/4.0、USB、MIPI等等,方便工程师快速进行查询和使用。

一只豌豆象的博客 3118

hdfs phoenix 导入_Phoenix 数据导入与导出

Phoenix 官方提供了相应的导入和导出的方案,分别位于:导出需要依赖 Apache Pig 相应进行实现。我们先来聊聊如何导出吧。环境:HDP 3.0.0、HBase 2.0.0、Phoenix 5.0.0、Pig 0.16.0导出Phoenix 官方提供的 Pig 方案,看似很简单,其实还是有很多需要注意的地方,比较官方给的都是最简单的示例,而实际应用场景的时候,会碰到很多意想不到的问题。我...

weixin_42568714的博客 528

MATLAB - Gazebo 联合仿真 —— 使用 UR10 机械臂检测和采摘水果

本示例演示如何在 Gazebo 物理模拟器中设置 Universal Robotics UR10 机械臂和仿真环境。您需要配置一个机器人从树上摘苹果的仿真环境。本示例演示如何利用这些工具箱,使用 Universal Robotics UR10 机械手模拟机器人检测并从树上摘取苹果。Robotics System Toolbox™ - 在 Simulink® 和 Gazebo 中对机械手进行建模、规划和模拟。Navigation Toolbox™ - 生成三维环境的占用图。

机器人控制与仿真应用 4184

HBase的Phoenix框架

Hbase适合存储大量的对关系运算要求低的NOSQL数据,受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀,一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式,Apache Phoenix即是。Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作,并支持标准SQL中大部分特性:条件运算,分组,分页,等高级查询语法。

qzq021226的博客 1919

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

HBase、Phoenix

一.前言(整体聊聊hbase,hdfs,Phoenix) 一.从HDFS角度理解HBase写: 1.HBase的数据存储在HDFS之上,HDFS不支持随机写.因此HBase做一系列优化. 2.因为HDFS不支持随机写,所以HBase只需要将数据写入内存即可.内存不稳定需要经WAL. 3.内存不稳定且有限,因此HBase在合适时机将数据写入到HDFS.那什么时候存呢?由此衍生了HBase的刷写机制. 4.刷写会带来文件数量过多问题,又衍生了文件的小合并,大合并.

jason_bone_的博客 3859

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

HBase系列(八)Phoenix操作HBase

Phoenix操作HBase一、Phoenix简介二、安装部署三、Phoenix实操访问Phoenix 一、Phoenix简介 Hbase适合存储大量的对关系运算要求低的NOSQL数据,受Hbase 设计上的限制不能直接使用原生的PAI执行在关系数据库中普遍使用的条件判断和聚合等操作。 Apache Phoenix 是 HBase 的 SQL 驱动。Phoenix 使得 HBase 支持通过 JDBC 的方式进行访问,并将你的 SQL 查询转成 HBase 的扫描和相应的动作。Phoenix 基于Hbase

Wei_HHH的博客 2751

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Hbase之phoenix的介绍与使用

目录 一、phoenix的简介 二、phoenix的安装与基本操作 Phoenix Shell操作 表的映射 视图映射 表映射 数字类型 JDBC操作 Phoenix二级索引 全局索引 包含索引 本地索引(localindex) 一、phoenix的简介 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表,插入数据和查询HBase数据。 1)容易集成:如Spark,Hive,Pig...

lslslslslss的博客 8463

利用Phoenix简化HBase的查询操作

HBase是一个基于HDFS的分布式数据库,它能够存储海量数据并提供实时的随机读写访问。HDFS:作为底层存储系统,负责持久化存储。:处理对数据的读写请求,负责管理分片(Region)。HMaster:管理HBase集群的元数据和Region的分配。通过结合使用HBase和Phoenix,我们不仅保留了HBase的高性能和扩展性,还利用Phoenix简化了数据操作的复杂性。HBase和Phoenix的结合使用,为大规模数据存储和分析提供了一种高效、灵活的解决方案。

hello.reader 2181

hbase镜像中安装Phoenix插件

客户有一个hbase数据库需要接入公司系统那;hbase数据库是运行于docker容器中;公司的系统目前只能通过Phoenix对接hbase。通过调研,最终决定用最简单的方式,给客户的hbase镜像安装Phoenix插件。主要原因是实现简单,不用改动系统代码。

craftsman_gosky的博客 2083

Phoenix 原理 以及 Phoenix在HBase中的应用

一、前言 业务使用HBase已经有一段时间了,期间也反馈了很多问题,其中反馈最多的是HBase是否支持SQL查询和二级索引,由于HBase在这两块上目前暂不支持,导致业务在使用时无法更好的利用现有的经验来查询HBase。虽然HBase本身不支持SQL,但业界还是有现成的方案来支持,如Hive、Impala、Phoenix等。众多方案各有各的优势,本文主要对Phoenix作一个大概的介绍。 Phoenix中文翻译为凤凰, 其最早是Salesforce的一个开源项目,Salesforce背景是一个搞ERP的

. 1万+
上一篇: Phoenix 采用bulkload 导入 hbase (2017-8-16)
下一篇: WIN 10 java 安装 (错误异常处理)
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值