
hadoop
我要下东西噢
这个作者很懒,什么都没留下…
展开
-
简析Hadoop的三种运行模式
一、本地独立模式(单机模式) 本地独立模式不进行任何配置,是Hadoop的默认工作模式。在这种模式下,Hadoop会完全运行在本地,Hadoop的所有组件都运行在同一个Java进程中。不需要与其他节点交互,不使用HDFS,也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的。二、伪分布模式三、全分布模式原创 2015-05-12 23:18:45 · 2510 阅读 · 0 评论 -
Hadoop生态系统
经过几年的快速发展,Hadoop现在已经发展成为包含多个相关项目的软件生态系统。 狭义的Hadoop核心只包括Hadoop Common、Hadoop HDFS和Hadoop MapReduce三个子项目,但和Hadoop核心密切相关的,还包括Avro、ZooKeeper、Hive、Pig和HBase等项目,构建在这些项目之上的,面向具体领域、应用的Mahout、X-Rime、转载 2015-05-13 12:51:00 · 744 阅读 · 0 评论 -
hadoop的版本演化
当前Apache Hadoop版本非常多,在讲解Hadoop各版本之前,先要了解Apache软件发布方式。 对于任何一个Apache开源项目,所有的基础特性均被添加到一个称为“trunk”的主代码线(main codeline),当需要开发某个重要的特性时,会专门从主代码线中延伸出一个分支(branch),这被称为一个候选发布版(candidate release),该分支将专注于开发该转载 2015-05-13 13:55:10 · 922 阅读 · 0 评论 -
HDFS Shell 命令
hadoop fs [GENERIC_OPTIONS][COMMAND_OPTIONS]1. 将本地文件上传到HDFS上 bin/hadoop fs -copyFromLocal /local/data/hdfs/data bin/hadoop fs –put /local/data /hdfs/data 2. 将HDFS上的文件传到本地文件 bin/ha原创 2015-05-22 11:12:57 · 473 阅读 · 0 评论