lzq00277的博客

HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群1、集群规划hostnameipNNJNDNZKFCZKhadoopHA01192.168.10.201yesyesyeshadoopHA02192.168.10.202yesyesyesyesyeshadoopHA03192.168.10.203yesyesyes

Kafka 3.x一、Kafka原理1.Kafka基础架构2.生产消息原理Kafka集群安装安装Kafkakafka命令行操作1.topic相关的命令1）常用参数2）创建topic3）查看topic信息4）查看、修改、删除topic2.生产者与消费者相关命令一、Kafka原理1.Kafka基础架构2.生产消息原理在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列RecordAccumulator。main 线程将消息发送给 Reco

一、HBase介绍HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行

一、HDFS的定义HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，适合一次写入，多次读出的场景。具有高容错性（多副本），适合处理GB、TB甚至PB级别的百万规模以上的文件数量的大数据。二、HDFS的组成1.namenodenn是HDFS的Master，管理者。负责管理HDFS的名称空间，配置副本策略（一个文件有几个副本），管理数据块的映射信息（一个数据块放在那个datanode上），处理客户端读写请求2.datanodedn是HDFS的sla