<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[youngyang_dz的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/youngyang_dz</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; youngyang_dz]]></copyright><item><title><![CDATA[docker 安装 cdh5]]></title><link>https://blog.youkuaiyun.com/youngyang_dz/article/details/90411790</link><guid>https://blog.youkuaiyun.com/youngyang_dz/article/details/90411790</guid><author>youngyang_dz</author><pubDate>Tue, 21 May 2019 18:15:09 +0800</pubDate><description><![CDATA[1下载cdh镜像

两种方式

1）直接拉取官网最新镜像文件

 当前官网最新版本是5.13


docker pull cloudera/quickstart:latest


 设置镜像版本信息


docker tag cloudera/quickstart:latest cdh:5.13.0 

2）官网下载镜像文件


https://www.cloudera.com/down...]]></description><category></category></item><item><title><![CDATA[Ambari2.6.2集成Kerberos]]></title><link>https://blog.youkuaiyun.com/youngyang_dz/article/details/90242103</link><guid>https://blog.youkuaiyun.com/youngyang_dz/article/details/90242103</guid><author>youngyang_dz</author><pubDate>Wed, 15 May 2019 18:37:30 +0800</pubDate><description><![CDATA[名词解释


Kerberos: Network Authentication protocol（网络认证协议）
KDC: Key Distribution center（密钥分配中心）
Kadmin: Kerberos Administrator（Kerberos管理）

我这边环境是docker 安装的单节点 Ambari

1配置/etc/hosts

在ip 后面加上kerberos-au...]]></description><category></category></item><item><title><![CDATA[hive select count为 0]]></title><link>https://blog.youkuaiyun.com/youngyang_dz/article/details/90242056</link><guid>https://blog.youkuaiyun.com/youngyang_dz/article/details/90242056</guid><author>youngyang_dz</author><pubDate>Wed, 15 May 2019 18:12:29 +0800</pubDate><description><![CDATA[查询的表中的数据是由impala插入的，所以可能是统计信息没更新导致的

即重新计算统计信息，在hive命令行数输入一下语句


ANALYZE TABLE $table_name COMPUTE STATISTICS;

ANALYZE TABLE $table_name partition(p=$1) COMPUTE STATISTICS;



...]]></description><category></category></item><item><title><![CDATA[Spark Streamng实战]]></title><link>https://blog.youkuaiyun.com/youngyang_dz/article/details/81175769</link><guid>https://blog.youkuaiyun.com/youngyang_dz/article/details/81175769</guid><author>youngyang_dz</author><pubDate>Mon, 23 Jul 2018 22:07:46 +0800</pubDate><description><![CDATA[Spark Streamng 是一个可拓展，大规模，高吞吐量，高容错性的实时流处理数据程序
    将不同数据源的数据经过SparkStreaming处理之后结果输出到外部文件系统

特点
    低延时
    能从错误中高效的恢复: fault-tolerant
    能够运行在成百上千的节点
    能够将批处理、机器学习，图计算的子框架和SparkStreaming综合起来使用

流程：...]]></description><category></category></item><item><title><![CDATA[Kafka认识实战]]></title><link>https://blog.youkuaiyun.com/youngyang_dz/article/details/81175757</link><guid>https://blog.youkuaiyun.com/youngyang_dz/article/details/81175757</guid><author>youngyang_dz</author><pubDate>Mon, 23 Jul 2018 22:07:05 +0800</pubDate><description><![CDATA[Kafka ,是一个分布式、支持分区的(partition)、多副本的(replica),高吞吐量的基于zookeeper协调的分布式消息系统
应用场景：
    1)构建实时的流数据管道，可靠地获取系统和应用程序之间的数据。
    2)构建实时流的应用程序，对数据流进行转换或反应。

kafka四个核心
    1)producer：生产者。
    2)consumer：消费者。
    3...]]></description><category></category></item><item><title><![CDATA[Flume基础配置]]></title><link>https://blog.youkuaiyun.com/youngyang_dz/article/details/81175731</link><guid>https://blog.youkuaiyun.com/youngyang_dz/article/details/81175731</guid><author>youngyang_dz</author><pubDate>Mon, 23 Jul 2018 22:06:11 +0800</pubDate><description><![CDATA[Flume 是一个分布式，高可用，高可靠，高效率的日志收集框架
 

Flume 由agent文件配置数据的采集与输出
agent 配置文件 由三个组件：
Source    数据源     负责输入
Channel  渠道         负责传输
Sink        收集         负责输出

Logger Sink 控制台输出事件：Logs event at INFO level
...]]></description><category></category></item></channel></rss>