qq_50231389的博客

1.负责分析大数据平台各个组件运行状态，负责大数据平台运行故障的分析，定位和解决，并根据业务场景进行定制优化2.负责业务集群日常问题的解答、汇总整理、跟踪解决等；3.参与大数据集群自动化运维工具的设计与实施；4.参与新技术、新组件的技术探索、测试和应用。......

1）ResourceManager (RM):整个集群资源(内存，CPU等)的老大 2）NodeManager (NM) : 单个节点服务器资源老大 3）ApplicationMaster (AM):单个任务运行的老大 4）Container:容器，相当于一台独立的服务器，里面封装了任务运行所需要的资源，如内存，cpu，磁盘，网络等。 说明1：客户端可以有多个 说明2：集群上可以运行多个ApplicationMaster 说明3：每个NodeManager上可以有多个Container小知识： 一个Con

大数据介绍1. 大数据的概念2. 数据分类3. 大数据特点4. 大数据的价值5. 数据来源6. 大数据中的几个核心概念： 1. 大数据的概念 大数据的概念： 数据的观察 实验的结果 2. 数据分类 1. 结构化数据 二维表 2. 半结构化数据 html，xml，js，css，property 3. 非结构化数据 视频，音频，图片 3. 大数据特点 海量数据 特点：5v 1. 数据量大 Byte KB MB GB TB PB EB ZB YB BB NB DB 2. 数据种类多

hadoop介绍1.hadoop的来源2.hadoop的角色分工3.Hadoop的安装模式 1.hadoop的来源 Google 搜索引擎的 2003年 海量数据的存储 GFS google filesystem 海量数据计算 MapReduce 编程框架 分布式计算 快速查询的机制 bigtable Doug Cutting Lucence 搜索引擎 Nuth 爬虫 海量数据存储 海量数据计算 快速查询 java 语言 实现了google的三篇论文 G