hadoop
关注
分享
扫一扫
zfqhd432
毕业于水利专业，五年水利信息化软件研发工程，有实际的软件研发经验，精通测控类产品及B/S系统，熟悉mysql和sqlserver数据库，能够熟练使用C#或C++或混合编程完成软件开发；熟悉WebService技术，能够熟练使用Spring、Struts、Hibernate、Ibatis等框架及前台EXTJS框架。
展开
-
hadoop笔记3-yarn执行流程
Yarn基本组成结构： 总体仍为Master/Slave结构，ResourceManager为Master，NodeManager为Slave，ResourceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeMa原创 2015-09-09 13:10:00 · 748 阅读 · 0 评论 -
hadoop笔记2-MR架构体系
1、Hadoop1.x的MR体系：1）、JobClient向JobTracker提交作业，JobTracker通过心跳机制监控集群中节点的资源 状况。 2）、TaskTracker监控所在节点的资源状况、任务执行情况，并通过心跳机制报告JobTracker。 存在问题：1、JobTracker存在单点故障。2、JobTracker完成的工作太多，消耗内存严重。3、 TaskTrac原创 2015-09-07 13:23:31 · 719 阅读 · 1 评论 -
Hadoop笔记4--hdfs架构
1、Hadoop1.x的hdfs存在问题： 1）namespace与block storage耦合严重。 2）namenode存在单点故障，namespace存放在单个namenode，namenode存放着集群上所有的元数据。 3）性能受限，单个namenode最多只支持60k个task，hadoop2.x能支持到100k个task。 4）隔翻译 2015-09-14 08:51:38 · 662 阅读 · 0 评论 -
hadoop鉴权
http://note.youdao.com/noteshare?id=39ff6786436c894d2a585abb2cfb876b&sub=4F93B83F28654F9595B58A1121B2E709原创 2018-09-14 16:09:27 · 720 阅读 · 0 评论 -
hadoop审计
http://note.youdao.com/noteshare?id=2357666dd623ae0517318e75d0e3ebf9&sub=8F0EF54044F64CB5A0B28EA3D58454BD原创 2018-09-14 16:10:04 · 747 阅读 · 0 评论