weixin_44224310的博客

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录1. 简述1.官方支持2.SHC使用2.1. 下载源码、编译、上传2.2. 项目中引用2.3. 项目实战使用2.3.1.写入Hbase2.3.2. 读取Hbase1. 简述Spark 读写 Hbase 的官方参考资料较少，当前 Spark On Hbase 的驱动主要有两种实现，官方驱动和hortonworks的shc。官方的也是基于hortonworks的进行开发的，而且好像对spark的DataFrame支持不是很友好，

1. presto简介及架构1.1. presto简介1.2. 架构模型1.3. presto数据模型2. presto安装部署2.1. 下载相关包2.2. 解压下载的tar包2.3. 配置文件2.3.1. 节点属性2.3.2. JVM Config2.3.3. 配置属性2.3.4. 连接目录属性2.4. 启动presto2.5. 命令行界面3. presto Hbase Connector开发3.1. 方案概况3.2. 开发及使用

【回顾】@Linux主机命名规范及要求主机名只允许包含ascii字符里的数字0-9，字母a-z，A-Z。连字符 “-” 其他都不允许，例如，不允许出现其他标点符号( “.” 好像是可以的)，不允许有空格，不允许有下划线，不允许有中文字符。2.主机名的开头和结尾符不允许是连字符3.不要用数字开头，不要私用计算机特殊词汇，只用小写...

【回顾】@CDH集群中配置Hive高可用-zookeeper本文主要讲述在CDH集群中，通过zookeeper实现Hive高可用配置的方法。1.配置Hive-site.xml文件登录cm，进入hive服务，在配置中搜索hive-site.xml配置项。增加如下配置<property><name>hive.server2.support.dynamic.servic...

1.概述本文档主要描述离线环境下，CentOS6.7操作系统部署CDH5.7.6 的过程。本安装文档主要分为3个步骤：1.环境准备（包括hostname、关闭防火墙、关闭SELinux、时钟同步等）2.安装Cloudera Manager Server3.安装CDH集群1.1.环境预置操作系统：CentOS 6.7JDK: 1.8.0_171Mysql版本：5.1.73CM版本...

1.分区手动创建hive分区目录是无法被识别的。需要执行命令创建：alter table book add partition(dt="20190722") location '/user/hive/warehouse/mytest.db/book/dt=20190722'或者执行修复分区命令MSCK repair table book；2.元数据库hive自带有一个元数据库为d...