Big_data_implicit_

目录 一、性能调优 1、分配资源 2、提高spark运行的并行度 3、重构RDD架构以及RDD持久化 4、使用广播变量 5、使用Kryo序列化 6、使用fastutil集合 7、调节数据本地化等待时长(s) 二、JVM调优 1、JVM调优：降低cache操作的内存占比 2、JVM调优：executor堆外内存与连接等待时长 三、shuffle性能调优 1、shuffle的原理 2、shuf...

一、kafka概述1.1、为什么有消息系统解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。冗余消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。扩展性因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。灵活性 &

一、hbase是什么1.1、hbase的概念HBase基于Google的BigTable论文，是建立的HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。 在需要实时读写随机访问超大规模数据集时，可以使用HBase。1.2、hbase的特点海量存储 可以存储大批量的数据 列式存储 HBase表的数据是基于列族进行存储的，列族是在列的方向上的划分。 极易扩展 底层依赖HDFS，当磁盘空间不足的时候，只需要动态增加datanode节点就可以了

目录一、数仓基础1、数仓基本介绍1.1、数仓基本概念1.2、数仓的定义1.2.1、面向主题1.2.2、集成性1.2.3、稳定性1.2.4、时变性1.3、数据仓库与数据库的区别1.4、构建数仓常用手段1.5、数仓分层1.5.1、数仓分层描述1.5.2、为什么要进行数仓分层1.6、获取数据1.7、同步策略2、数据仓库建模2.1、范式建模法（Third Normal Form 3NF）2.2、维度建模法2.2.1、维度表2.2.2、事

一、什么是zookeeper是Google的Chubby的一个开源实现版 ZooKeeper 一个分布式的，开源的，用于分布式应用程序的协调服务（service） 主从架构 Zookeeper 作为一个分布式的服务框架 主要用来解决分布式集群中应用系统的一致性问题 它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理 二、zookeeper初体验

Apache Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入 YRAN具有足够的通用性，可以支持其它的分布式计算模式一、YARN架构类似HDFS，YARN也是经典的主从（master/slave）架构YARN服务由一个ResourceManager（RM）和多个NodeManager（NM）构成 ResourceManager为主节点（master） NodeManager为

1、大数据平台面临问题及流程2、大数据平台深度监控场景及思路讨论2.1、整体架构2.2、HDFS画像2.2.1、解析NameNode 序列化文件fsimage1.使用 HDFS 命令解析 fsimage 文件，得到 namenode 第一关系相关信息命令如下：hdfs oiv -p Delimited -i fsimage_0000000000000697136 -o fsimage_0000000000000697136.txt2.通过解析文件内容可以得到如下.

1、大数据平台前期调研1.1业务需求调研从运维角度看，主要调研公司的有哪业务的数据运营需求，是离线计算需求还是实时计算需求。1）离线计算组件需求：数据采集组件：FlinkX/DataX 数据存储组件：HDFS数据加工组件：YARN/Hive/Spark/Flink数据服务组件：HBase/Elasticsearch/Geomesa（时空数据库）/Kylin（OLAP 引擎）/MPP 数据库（可以用作即席交互查询，如 Greenplum、HAWQ）2）实时计算组件需求：数.

一、HBase篇1、巡检HBase 是使用 HDFS 作为底层存储的 NoSQL 数据库，提供了满足实时性和随即读写功能的数据库服务。每日早晚巡检 HBase 服务，检查各集群的 HMaster 和 RegionServer 状态，是否事务积压等问题。1.1、查看CM HBase 的整体状态1.HBase 的状态，目前看没有严重警告2.查看集群读写请求量3.查看总 Region 数，有 4 万+的 Region平均每个 RegionServer 有 100

1、巡检YARN 为 Hadoop 集群的上层应用，包括 MapReduce、Spark 等计算服务在内，提供了统一的资源管理和调度服务。每日早晚巡检YARN 服务，主要检查资源池内主机的健康状态，保障 YARN 服务可用性。1.1、YARN CM 运行状态Yarn 集群，目前 Cloudera Manager 显示 6 个不良，16 个存在隐患打开显示为不良的 NodeManager，这个节点有坏盘正在报修阶段查看存在隐患的 NodeManager查看正在运行的

1、巡检HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。1.1、HDFS 总体状态①HDFS 状态，如下的红色提示需要关注②HDFS容量是否过阈值1.2、HDFS UI 巡检1.2.1、summary巡检对应上图所示标号，逐一进行解释：（1）HDFS 总文件数：此数值代表着 HDFS 存储内有多少文件，该数值的警告阈值为 5000W（2）H.

一、MapReduce是什么总的来说：MapReduce是面向大规模数据并行处理的计算模型、框架和平台。具有以下3个层面的含义：1.MapReduce是一个并行程序的设计模型与方法；2.MapReduce是一个并行程序运行的软件框架；3.MapReduce是一个基于集群的高性能并行计算平台Hadoop中的MapReduce就是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由成百上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理TB或PB级别的数据集。二、MapR

hdfs的设计理念可移植性 流式数据访问（高吞吐量而不是低延时） 分布式存储解决大规模数据存储 硬件故障是常态而不是异常 最高效的数据访问模式：一次写入，多次读取（数据的简单一致性）一、数据块（block）HDFS原理白话讲就是将大文件分为若干个块，将这些块散落在不同的服务器上进行存储。1.1 数据块大小如何设置在hdfs配置文件hdfs-site.xml中，通过dfs.blocksize参数配置1.2 为什么hdfs的数据块这么大hadoop 1.x默认块大.

1、常用命令1.1、查看主机CPU使用情况1.1.1、sarsar -u 1 5说明：已1秒为周期查询5次当前主机总体CPU使用情况。%user 用户空间的 CPU 使用%nice 改变过优先级的进程的 CPU 使用率%system 内核空间的 CPU 使用率%iowait CPU 等待 IO 的百分比%steal 虚拟机的虚拟机 CPU 使用的 CPU%idle 空闲的 CPU主要看%iowait 和%idle，%iowait 过高表示存在 I/O 瓶颈，.

问题：1、HDFS处理小文件有几种方案？各自的优缺点有哪些？2、HDFS文件操作流程步骤有哪些？3、你对提高HDFS处理小文件的效率有什么新的想法？一、概述HDFS存储特点：（1）流式读取方式，主要是针对一次写入，多次读出的使用模式。写入的过程使用的是append的方式。（2）设计目的是为了存储超大文件，主要是针对几百MB，GB，甚至TB的文件（3）该分布式系统构建在普通PC机组成的集群上，大大降低了构建成本，并屏蔽了系统故障，使得用户可以专注于自身的操作运...