
hadoop
文章平均质量分 61
Silence神乐
hakana matata
展开
-
关于“云计算”
(写于November 20th, 2012)一直觉得云计算的概念很抽象 前两天在网上看到这篇文章很不错~摘自http://tech.sina.com.cn/it/2012-05-17/02527120267.shtml 读两个故事一定弄懂“云计算” 这是个实在悬乎的概念,自提出6年以来,无数的文字在解释它,却有90%以上的读者不知“云”原创 2013-11-24 19:45:36 · 926 阅读 · 0 评论 -
初识Kerberos
Kerberos:网络认证服务系统,给予私匙体制。Kerberos协议主要用于计算机网络的身份鉴别,其特点是用户只需要输入一次身份验证信息就可以凭借此验证访问多个服务,即SSO。由于每个Client和Service之间建立了共享密匙,是得该协议具有相当的安全性。client与KDC,KDC与service在协议工作前已经有了各自的共享密匙,并且由于协议中的消息无法穿透防火墙,这些条件就限制原创 2015-04-03 10:51:23 · 685 阅读 · 0 评论 -
关于Yarn
Hadoop Mapreduce的局限性:JobTracker单点瓶颈;TaskTracker端;作业延迟高;编程框架不够灵活。Mapreduce2的设计需求:可靠性;可用性;扩展性;向后兼容;演化;可预测延迟;集群利用率;支持除Mapreduce编程框架外的其他框架;支持受限和短期的服务。 Mapreduce2的主要设计思路是将JobTracker承担的两大任务块——集群资源管理和作原创 2015-04-03 10:56:42 · 689 阅读 · 0 评论 -
了解ZooKeeper
ZooKeeper是一个分布式应用所涉及的开源协调服务。可以为用户提供同步,配置管理,分组和命名等服务。用户可以实现一致性,组管理,leader选举等协议。设计目的是为了减轻分布式应用程序所承担的协调任务。Zookeeper的设计目标:简单化,健壮性,有序性,速度优势。Znode是客户端要访问的ZooKeeper的主要实体,主要特征有:客户端可以在节点是设置watc原创 2015-04-03 14:34:24 · 884 阅读 · 1 评论 -
Hadoop学习笔记之初步了解HDFS
因为工作需要开始了解Hadoop,做一个小小的学习笔记,总结下今天看的。Hadoop:一个分布式系统架构,能够对大量数据进行分布式处理的软件框架。可靠(维护多个工作数据副本),高效(并行处理),可伸缩(可以处理PB级数据)的方式进行处理。优点:高可靠性,高扩展性,高效性,高容错性,低成本。核心设计:HDFS(海量数据的原创 2014-07-14 22:42:52 · 1185 阅读 · 0 评论