qq_45889526的博客

Kafka 是一种高吞吐量的分布式发布订阅消息系统，用于数据的缓冲。具有高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性。作用一：消息系统。具备冗余存储、缓冲、异步通信、扩展性、可恢复性等功能。作用二：存储系统：Kafka有消息持久化和多副本机制。将消息持久化到磁盘，可以把它作为长期的数据存储系统来使用作用三：流式处理平台。Kafka 可以和流式处理框架进行集成。比如像Spark Streaming和Flink。提供了窗口、连接、变换和聚合等各类操作。

ZooKeeper是一个分布式的，开放源码的，用于分布式应用程序的协调服务。所谓分布式协调主要是来解决分布式系统中多个进程之间的同步限制，防止出现脏读，例如我们常说的分布式锁。zookeeper服务端有两种模式：单机的独立模式和集群的仲裁模式，所谓仲裁是指一切事件只要满足多数派同意就执行，不需要等到集群中的每个节点反馈才执行。

（1）单引号不取变量值（2）双引号取变量值（3）反引号`，执行引号中命令（4）双引号内部嵌套单引号，取出变量值（5）单引号内部嵌套双引号，不取出变量值。

Hadoop，就是解决⼤数据时代下海量数据的存储和分析计算问题。Hadoop不是指具体的⼀个框架或者组件，它是Apache软件基⾦会下⽤Java语⾔开发的⼀个开源分布式 计算平台，实现在⼤量计算机组成的集群中对海量数据进⾏分布式计算，适合⼤数据的分布式存储和计算，从⽽有效弥补了传统数据库在海量数据下的不⾜。Hadoop Common：支持其他Hadoop模块的常用工具。Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。