
Hadoop学习备忘录
oSayMissyou0
这个作者很懒,什么都没留下…
展开
-
对Hadoop自带程序WordCount的解读(转载,自用)
注:学习备忘自用。 原文链接:http://www.2cto.com/database/201403/287775.html 刚开始学习hadoop,对于Hadoop运行原理还不是特别熟悉,通过此例子可以对hadoop运行的原理有个初步的认知。 下面是把源代码拷到eclipse程序中,利用此代码(并未修改)测试一下实际的数据并得到结果。(注释是对上以一行的解释) package c转载 2016-07-22 16:49:11 · 850 阅读 · 0 评论 -
windows上eclipse搭建hadoop开发环境(自用,备忘)
一.系统环境 Windows7、Ecplise 4.4.0,Hadoop2.7.2 Hadoop安装教程请看:Hadoop2.7.2安装教程 二.安装步骤 1.安装hadoop插件 下载hadoop-eclipse-plugin-2.7.2.jar(点击下载),并且拷贝到eclipse根目录下/dropins下 2.启动myeclipse,打开Perspective: 【Window原创 2016-07-22 14:00:35 · 6230 阅读 · 1 评论 -
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.2/Ubuntu14.04(转载,修改部分内容)
注:本文主要是为了以后回顾自用。 原文链接:http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是转载 2016-07-19 13:05:33 · 2703 阅读 · 0 评论 -
Hadoop-2.0命令手册
注:本文主要是自用 原文链接:http://my.oschina.net/frankwu/blog/102680 1. FS Shell 1.1 简介 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文转载 2016-07-21 10:40:01 · 514 阅读 · 0 评论 -
Hadoop配置文件配置项定义说明(转载,自用,随着学习与版本更新逐渐更新)
hadoop的集群配置中,大部分都用的默认设置,如果想要提高整个集群的性能,可以考虑通过修改配置的方法实现,配置项大部分都配置在这三个文件里:core_site.xml, hdfs_site.xml, mapred_site.xml, 下面将经常会用到的配置项总结如下:(待补充) core_site.xml fs.default.name(此处已修改为fs.defaultFS转载 2016-07-21 11:27:16 · 1542 阅读 · 0 评论