mizui_i的博客

一.架构设计二.核心概念Client 发起读写请求的角色,面向hbase client 编程 首先hbase查询meta表,找到读或写的数据的region区域位置信息 然后向region对应的HregionServer上发送读写请求 Zookeeper 存储HBase元数据 负责HMaster的选择和主备切换 负责对HRegionServer进行监控 对RootRegion的管理，即对meta表所在数据存储的region的管理 Region 管理，普通region

一.概述1.产生原因hadoop的mr/hdfs/hive等只能做数据的顺序访问,不能随机访问很多场景需要数据的随机访问,例如身份证的识别,手机号的识别,健康码等2.简述全称 : hadoop habase 它是一个以hdfs为基础,面向列的分布式数据库,可以提供海量数据的随机实时读写 完全开源,参考了谷歌的bigtable数据库设计3.应用场景高并发,简单条件,随机查询 不擅长join类操作 半结构化,非结构化的数据存储 数据采集结果存储,海量数据查询等项目开发中经常使用

一.简介1.是什么Yarn(Yet Another Resource Negotiator，另一种资源协调者)一种新的hadoop资源管理器,一个通用的资源管理系统2.产生背景hadoop1.x版本中JobTracker,TaskTracker的MRv1模型有很多局限性,如下:JobTracker出现单点故障,整个集群瘫痪JobTracker负载过重仅支持MR计算框架资源管理和任务调度没有解耦3.Yarn的特点资源管理与任务调度解耦,一个集群的资源共享上层各个计算框架,

一.HDFS数据格式1.文件格式2.压缩格式3.设置mr的输出格式例子:设置输出格式为gzipshell命令启动时要携带对应的参数:# 命令太长时 可以用 \ 新开一行yarn jar aaa.jar com.aaa.main.Wordcount \-Dmapred.output.compress=true \-Dmapred.output.compression.codec=org.apache.hadoop.io.compressGzipCodec \输入路径 输出

一.介绍产生背景: web2.0时代到来,大量的数据需要处理,单机处理已经不能满足需求,分布式存储与计算进入历史舞台是什么:是一个面向大数据处理的计算框架基本特点:提供可靠的分布式计算,封装了细节开发流程简单,跨语言二.运行流程premap阶段首先根据输入的文件,进行切片,一个block块就是一片其中的每一片都会分配给一个map任务一个计算节点可以并行执行多个map任务分片完成后要按照回车符号进行kv格式化,k是字节偏移量,v是内容map阶段数据处理 Mapp...

一.特点高容错和高可用性 流式数据访问 弹性存储,支持大规模数据集 简答一致性模型(一次写,多次读) 移动计算而非移动数据 协议和接口多样 多样的数据管理功能二.架构设计2.1核心组件NameNode(NN) 元数据管理者,管理NameSpace(文件系统命名空间)记录文件是如何切分并存储在那些节点上的一些信息 NameSpace上任何属性的更改都由NameNode记录,维护整个系统的文件和目录. DataNode(DN) DN是文件系统的工作节点,根据客户端或者NameN

一.起源起源于搜索引擎 08年成为apache的顶级项目 09-12年 0.x-1.x快速发展,但是超大规模集群和HA等成为瓶颈 13-17年 2.x快速发展,解决了超大集群和HA瓶颈 17年至今 3.x快速发展,主要在提升执行效率(锦上添花)二.架构2.1核心组件HDFS(存储),MapReduce(计算),yarn(任务调度)2.2其他常用组件HBase,Hive,Zookeeper,Streaming2.3架构2.4组件介绍HDFS 分布式文件存储系统,.