weixin_49415186的博客

文章目录一、第一章：入门1. 背景一、第一章：入门1. 背景ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据块库（DBMS）,使用C++语言编写，主要用于在线分析处理查询（OLAP）,能够使用SQL查询实时生成分析数据报告。...

Druid的节点类型分为：Overload、MiddleManager、Coordinator、Historical 、Broker。Druid架构Overload和MiddleManager主要负责数据摄入（对于没有发布的segment,MiddleManage也提供查询服务）；Coordinator和Historical负责历史数据的查询；Coordinator:是Historical的master节点Broker节点主要负责接收Client查询请求，拆分子查询给MiddleMan.

现在日志分为：swift_manage日志：/data/br/logs/swift/swift_api日志：/data/br/logs/swift/swift_compute启动日志：/data/br/logs/swift/swift_compute运行日志：/data/br/base/hadoop/logshadoop:yarn管理页面可以查看spark的实例个数以及内存大小2.yarn管理页面看实例global中配置实例的位置：一般一个任务有2个进程：driver：固定一个实例，e

1、Sqoop: Sqoop是一款开源的工具，主要用于Hadoop、Hive与传统的数据库（Mysql）间进行数据的传递，可以 将一个关系型数据库中的数据导进Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库。2、Flume: Flume是一个高可用的、高可靠的，分布式的海量日志采集、集合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于数据数据；3、Kafka: Kafka是一种高吞吐量的分布式发布订阅消息系统；4、Spark: Spark是当前最流行的开源大数据内.

一、HDFS架构概述1、NameNode（nn）: 存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。2nn：每隔一段时间对NameNode元数据备份...

为什么要Namenode HA?实现高可用(ansible部署namenode节点下配置两个主机组)Namenode HA如何实现，关键技术难题是什么？如何保持主备NameNode的状态同步，并让Standby(备)在Active(主)挂掉后迅速提供服务，namenode启动比较耗时，包括加载fsimage和editlog(获取file to block信息)，处理所有datanode第一次blockreport(获取block to datanode信息)，保持NN的状态同步，需要这两部分信息同步