LL0911的博客

一.简介1.1概述Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。高吞吐率。即使在非常廉价

报错：经过查看集群的jps如下：==================== hadoop01 jps ===================2561 FsShell1971 ResourceManager2452 NameNode2606 Jps==================== hadoop02 jps ===================1570 NodeManager1363 DataNode1462 JournalNode1303 QuorumPeerMain1722

Hadoop组成架构Hadoop是apache用来“处理海量数据存储和海量数据分析”的分布式系统基础架构，更广义的是指hadoop生态圈。Hadoop的优势　　高可靠性：hadoop底层维护多个数据副本，即使某个计算单元故障，也不会导致数据丢失。　　高扩展性：天然支持分布式，可方便的扩展至几千个节点。　　高容错性：能够自动将失败的任务重新分配。　　高效性：在mapReduce的思想下，hadoop是并行工作处理任务的。Hadoop1.x和Hadoop2.x的区别MapReduce架构概述

Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（re