
phoenix
枫叶的落寞
hadoop、spark数据挖掘与机器学习算法工程师
展开
-
Phoenix查看表是否存在
Phoenix查看表是否存在程序中,我们有时候需要判断phoenix中一张表是否存在,需要怎么做呢?phoenix中表或者schema的信息都会存储在SYSTEM.CATALOG中sqlline.py命令行!tablejdbc方式select * from SYSTEM.CATALOG;...原创 2018-11-23 17:57:16 · 1742 阅读 · 0 评论 -
bulkload混合使用hbase、phoenix的问题总结
bulkload 批量入数据使用spark生成hfile,然后将hfile bulkload进hbase中hbase 表与phoenix 表映射问题1、直接在phoenix中创建表,需要在hbase-site.xml中配置参数2、在hbase中创建表,然后在phoenix中创建同名表(table or view),这样做的话,必须是hbase表数据已灌输完成create 'hzj','i...原创 2018-11-29 16:26:11 · 582 阅读 · 0 评论 -
phoenix使用心得
1、phoenix中没有union,只有union all,但是我们在使用的时候,不必要担心数据重复问题,因为phoenix在写入数据时,其实操作的是hbase,写的hfile文件,而hbase 有rowkey的概念,如果rowkey相同,则会覆盖掉。2、phoenix在建表的时候,使用SALT_BUCKETS=N,达到数据散列话,但是在upsert的时候,phoenix可以自动在rowkey前...原创 2018-12-14 16:24:58 · 1633 阅读 · 0 评论 -
利用spark读取phoenix(phoenix-spark)
为何不是jdbc访问phoenix?具体原因参照phoenix官网地址:(https://phoenix.apache.org/phoenix_spark.html)为何不是官网提倡的访问方式?官网提倡:import org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextimport org.apache....原创 2019-04-19 13:08:56 · 6884 阅读 · 4 评论