weixin_44224310的博客

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录1. 简述1.官方支持2.SHC使用2.1. 下载源码、编译、上传2.2. 项目中引用2.3. 项目实战使用2.3.1.写入Hbase2.3.2. 读取Hbase 1. 简述 Spark 读写 Hbase 的官方参考资料较少，当前 Spark On Hbase 的驱动主要有两种实现，官方驱动和hortonworks的shc。 官方的也是基于hortonworks的进行开发的，而且好像对spark的DataFrame支持不是很友好，

1. presto简介及架构 1.1. presto简介 1.2. 架构模型 1.3. presto数据模型 2. presto安装部署 2.1. 下载相关包 2.2. 解压下载的tar包 2.3. 配置文件 2.3.1. 节点属性 2.3.2. JVM Config 2.3.3. 配置属性 2.3.4. 连接目录属性 2.4. 启动presto 2.5. 命令行界面 3. presto Hbase Connector开发 3.1. 方案概况 3.2. 开发及使用

【回顾】@Linux主机命名规范及要求 主机名只允许包含ascii字符里的数字0-9，字母a-z，A-Z。连字符 “-” 其他都不允许，例如，不允许出现其他标点符号( “.” 好像是可以的)，不允许有空格，不允许有下划线，不允许有中文字符。 2.主机名的开头和结尾符不允许是连字符 3.不要用数字开头，不要私用计算机特殊词汇，只用小写 ...

【回顾】@CDH集群中配置Hive高可用-zookeeper 本文主要讲述在CDH集群中，通过zookeeper实现Hive高可用配置的方法。 1.配置Hive-site.xml文件 登录cm，进入hive服务，在配置中搜索hive-site.xml配置项。增加如下配置 <property> <name>hive.server2.support.dynamic.servic...

1.概述 本文档主要描述离线环境下，CentOS6.7操作系统部署CDH5.7.6 的过程。本安装文档主要分为3个步骤： 1.环境准备（包括hostname、关闭防火墙、关闭SELinux、时钟同步等） 2.安装Cloudera Manager Server 3.安装CDH集群 1.1.环境预置 操作系统：CentOS 6.7 JDK: 1.8.0_171 Mysql版本：5.1.73 CM版本...

1.分区 手动创建hive分区目录是无法被识别的。 需要执行命令创建： alter table book add partition(dt="20190722") location '/user/hive/warehouse/mytest.db/book/dt=20190722' 或者执行修复分区命令 MSCK repair table book； 2.元数据库 hive自带有一个元数据库为d...