qq_43536701的博客

Oozie简介Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。功能相似的任务调度框架还有Azkaban和Zeus。Oozie三大功能模块从图中不难看出，Oozie主要有三大功能模块构成：workflow(工作流)：定义job任务执行。Coordinator：定时触发

1、创建kafka topickafka-topics.sh --zookeeper node01:2181 --create --topic t_Name --partitions 30 --replication-factor 2注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数partitions分区数:partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server

KDC（kerberos Distribution Center）密钥分发中心，维护所有账户的名称和Master Key（key的hash code）。提供：AS认证服务、TGS票据授予服务Client 访问 Service需要Kerberos认证过程3个子协议：1.AS Exchange2.TGS Exchange3.CS Exchange认证过程如下图：1.1Authentication Service Exchange该服务通过KDC的AS服务对Client身份的确认，并颁发给该Cl