- 博客(6)
- 收藏
- 关注
RSS订阅原创 docker 安装 cdh5
1下载cdh镜像 两种方式 1）直接拉取官网最新镜像文件 当前官网最新版本是5.13 docker pull cloudera/quickstart:latest 设置镜像版本信息 docker tag cloudera/quickstart:latest cdh:5.13.0 2）官网下载镜像文件 https://www.cloudera.com/down...
2019-05-21 18:15:09
4348
原创 Ambari2.6.2集成Kerberos
名词解释 Kerberos: Network Authentication protocol（网络认证协议） KDC: Key Distribution center（密钥分配中心） Kadmin: Kerberos Administrator（Kerberos管理） 我这边环境是docker 安装的单节点 Ambari 1配置/etc/hosts 在ip 后面加上kerberos-au...
2019-05-15 18:37:30
643
2
原创 hive select count为 0
查询的表中的数据是由impala插入的，所以可能是统计信息没更新导致的 即重新计算统计信息，在hive命令行数输入一下语句 ANALYZE TABLE $table_name COMPUTE STATISTICS; ANALYZE TABLE $table_name partition(p=$1) COMPUTE STATISTICS; ...
2019-05-15 18:12:29
729
原创 Spark Streamng实战
Spark Streamng 是一个可拓展，大规模，高吞吐量，高容错性的实时流处理数据程序 将不同数据源的数据经过SparkStreaming处理之后结果输出到外部文件系统 特点 低延时 能从错误中高效的恢复: fault-tolerant 能够运行在成百上千的节点 能够将批处理、机器学习，图计算的子框架和SparkStreaming综合起来使用 流程：...
2018-07-23 22:07:46
381
原创 Kafka认识实战
Kafka ,是一个分布式、支持分区的(partition)、多副本的(replica),高吞吐量的基于zookeeper协调的分布式消息系统 应用场景： 1)构建实时的流数据管道，可靠地获取系统和应用程序之间的数据。 2)构建实时流的应用程序，对数据流进行转换或反应。 kafka四个核心 1)producer：生产者。 2)consumer：消费者。 3...
2018-07-23 22:07:05
352
原创 Flume基础配置
Flume 是一个分布式，高可用，高可靠，高效率的日志收集框架 Flume 由agent文件配置数据的采集与输出 agent 配置文件 由三个组件： Source 数据源 负责输入 Channel 渠道 负责传输 Sink 收集 负责输出 Logger Sink 控制台输出事件：Logs event at INFO level ...
2018-07-23 22:06:11
257
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人