qq_38304320的博客

https://blog.youkuaiyun.com/qing_gee/article/details/102781522

1.Hdfs概述 1.hdfs是hadoop生态圈中甚至大数据生态圈必不可少的一个组件。 hdfs 是Hadoop Distribute File System 简称。最为最为底层的分布式存储服务而存在。 2.其设计思想是采取“分而治之”的思想：将大文件，大批量文件，分布式存放在大量服务器上，以便于分而治之对这些文件进行运算分析。 设计目标： 1**.故障检测及快速恢复**。 Hdfs是有成千上万...

首先进入job.waitForCompletion 由于job状态已经被定义，所以直接进入submit方法 1.进入submit方法： public void submit() throws IOException, InterruptedException, ClassNotFoundException { //再次确认job状态 this.ensureS...

发

Hdfs的写操作： 1.客户端向namenode发出请求准备上传文件 2.NameNode接受请求，并进行判断目标文件是否存在， 3.namenode向客户端发出可以是否传的信息 4.客户端则发送block1 ， 6. namenode判断出可以进行存储的3个datanode，（默认3个副本） 7.客户端向namenode指定的最近的datanode发出发送数据和建立pipeline的请求。 ...

NameNode在hdfs当中发挥了重要角色，可以说，无NameNode，无Hdfs。 NameNode主要有俩个作用： 1.与客户端进行交互 2.维护目录树即元数据的管理 一. 元数据管理 namenode对数据的管理采用了三种存储形式： ----a内存元数据(NameSystem) ----b磁盘元数据镜像文件 ----c数据操作日志文件（可通过日志运算出元数据） 1.元数据存储机制 1....

1.工作机制

一.Hbase简介 我们目前所使用的数据库类型主要有两种，关系型数据库，和非关系型数据库。 关系型数据库，我们之前可能会有所了解，如mysql，oracle，sqlserver等。 今天我们所要介绍的而是属于另外一种非关系型数据库 ，非关系型数据库也许多，如Mongdb，redis，Hbase等。今天主要介绍一下Hbase！ 1.为什么使用Hbase？ 尽管已经有许多数据存储和访问的策略方法，但是...

一.什么是Spark Spark是一种快速，通用，可扩展，并基于内存迭代运算的大数据分析引擎。 2009年诞生于加州大学伯克利分校AMPLab 2013年6月成为Apache孵化项目 2014年2月成为Apache顶级项目。 该项目采用Scala编写 目前，Spark生态系统已经发展成为有用众多子项目的生态圈，类似于Hadoop。 SparkSQL 、Spark Streaming ,、Gra...

as