
hive
hive相关使用
文大侠666
专注安全领域,擅长Go/C++,玩点大数据。
展开
-
datax同步hive到mongo
1.datax简介datax是阿里开发的大数据同步引擎,现在使用越来越广泛,其基本原理就是各种输入输出统一转换成中间格式,中间层处理各种控制来完成整个过程。具体详细截取段文档如下DataX本身作为离线数据同步框架,采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件,纳入到整个同步框架中。Reader:Reader为数据采集模块,负责采集数据源的数据,将数据发送给Framework。Writer: Writer为数据写入模块,负责不断向原创 2020-10-23 20:34:43 · 1737 阅读 · 0 评论 -
1.hive基础与安装
hive简介hive简单安装- 快速测试- 生产环境配置hive简介hive是标准hadoop体系的一员,常作为OLAP的数据仓库。hive存储一般基于HDFS或HBase构建,查询计算过程依赖 Apache Tez™, Apache Spark™, 或MapReduce。没有定义专门的数据格式,数据格式可以由用户指定,用户定义数据格式需要指定三个属性:列分隔符(通常为空格、”\...原创 2019-10-27 16:41:06 · 215 阅读 · 0 评论