
大数据
Chobits1988
这个作者很懒,什么都没留下…
展开
-
Hadoop 笔记 1——Hadoop架构
下图是hadoop的主从结构,在小集群中Secondary name node属于某个从节点。大集群中,name node和job tracker部署在两台服务器上NameNode:主要职责是跟踪文件如何被分割成文件块、文件块又被哪些节点存储,以及分布式文件系统的整体运行状态是否正常等,如果NameNode节点停止运行的话将会导致数据节点无法通信,客户端无法读取和写入数据到原创 2013-08-22 18:07:50 · 786 阅读 · 0 评论 -
Hadoop基本命令
======================Master=========================查看Datanode的运行情况命令:hadoop dfsadmin -repor网页查看:http://192.168.242.128:50030/jobtracker.jsp原创 2013-08-30 18:02:08 · 793 阅读 · 0 评论 -
Linux命令简单汇总
==============================================Vmware=======================ctrl+alt+enter:可以切换全屏。==============================================CentOS==================快速切换workspace的方法,首先打开快捷原创 2013-08-27 11:12:10 · 810 阅读 · 0 评论 -
Hadoop笔记 2 HDFS
HDFS的如下几个特性:硬件故障作为常态,所以HDFS有快速检测,备份,恢复节点的能力。HDFS注重的是对流式数据的访问,所以注重的是吞吐量。支持大规模数据的存储,并且能提供很高的传输速率。一次写入,多次读取,不会再更改了。移动计算:HDFS开放接口让程序移动到数据旁边计算,而不是把数据移动到程序旁边。笔记:==================Name node==========原创 2013-08-23 16:20:12 · 588 阅读 · 0 评论 -
Hadoop 笔记3 Mapreduce
Map reduce:是一种海量数据并行编程模型,分为map和reduce两个函数。目的是把任务分给多个节点,然后汇总各个节点的中间结果,得到最终结果。Map reduce的对象有一个特点:数据可以分为多个并行处理的数据集。执行过程如下:系统把数据分割成等大小的split(片),每个片进一步分解成对,然后分配用户定义的map任务。Mapper:根据map任务计算得到中间结果原创 2013-08-23 17:01:39 · 514 阅读 · 0 评论 -
谁在用Hadoop
Hadoop技术的应用已经十分广泛了,而我是最近才开始对它有所了解,它在大数据领域的出色表现也让我产生了兴趣。浏览了他的官网,其中有一个页面专门介绍目前世界上有哪些公司在用Hadoop,这些公司涵盖各行各业,不乏一些大公司如alibaba,ebay,amazon,google,facebook,adobe等,主要用于日志分析、数据挖掘、机器学习、构建索引、业务报表等场景,这更加激发了学习它的热情。转载 2013-09-05 18:09:46 · 1362 阅读 · 0 评论