
Hadoop学习笔记
文章平均质量分 81
q269399361
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Ubuntu搭建单击模式的hadoop
1.$ sudo apt-get install ssh 2.$ sudo apt-get install rsync原创 2014-07-17 20:19:24 · 767 阅读 · 0 评论 -
HBase的安装
介绍一下Hbase的单机版安装,伪分步模式,完全分布式安装1.单击版安装首先下载对应hadoop版本的Hbase,这里我用了hadoop1.2.1版本 对应的是hbase-0.98.3-hadoop1-bin.tar.gz 下载好后,接着解压执行tar -xzvf hbase-0.98.3-hadoop1-bin.tar.gz然后打开conf中 hb原创 2014-07-30 16:45:58 · 843 阅读 · 0 评论 -
Hbase访问之shell命令
Hbase访问之Shell基本操作1.查看状态statushbase(main):001:0> status1 servers, 0 dead, 2.0000 average load有一个服务器,0个挂掉的,2.0000的负荷2.查看版本信息 versionhbase(main):002:0> version0.98.3-hadoop1, r原创 2014-07-31 14:56:24 · 501 阅读 · 0 评论 -
Hbase访问之shell命令
Hbase访问之Shell基本操作1.查看状态statushbase(main):001:0> status1 servers, 0 dead, 2.0000 average load有一个服务器,0个挂掉的,2.0000的负荷2.查看版本信息 versionhbase(main):002:0> version0.98.3-hadoop1, r原创 2014-07-31 14:49:51 · 645 阅读 · 0 评论 -
hadoop学习笔记2.windows上远程调试MapReduce
要调试MapReduce首先的安装Eclipse,然后再安装Hadoop插件到Eclipse中1.安装Hadoop插件到Eclipse1.1 安装hadoop-eclipse-plugin-1.2.1.jar具体安装步骤就不细说了,简单的说一下首先安装Eclipse然后把hadoop-eclipse-plugin-1.2.1.jar放到eclipse安装目录的plugs目录下原创 2014-07-29 11:44:29 · 1459 阅读 · 0 评论 -
hadoop学习笔记3.通过电话通信清单例子简单使用Reduce和打包JAR
这节我们来学习如何应用Reduce和打包jar文件1.简单使用Reduce经过上一次的应用,我们大致了解了如何搭建MapReduce环境,如何编写MapReduce和如何运行。这次我们就直接贴代码和测试数据了。测试数据如下:13564222222 1008613564222223 1008613564222224 11013564222225 1008原创 2014-07-29 16:37:59 · 1039 阅读 · 0 评论 -
hadoop学习笔记1.使用shell和JAVA API操作HDFS
我们接着上一节来,上次我们已经把伪分布式环境搭建好了。OK,我们先来测试一下 ,跑跑自带的例子wordcount1.运行wordcount测试MapReduceadministrator@ubuntu:~$ mkdir inputadministrator@ubuntu:~$ cd inputadministrator@ubuntu:~/input$ echo原创 2014-07-24 11:52:51 · 1309 阅读 · 0 评论 -
学习Hadoop所遇到的问题集
1.搭建伪分布式出现的问题,Namenode或者datanode无法启动core-site.xml 配置如下 fs.default.name hdfs://192.168.1.109:9000 hadoop.tmp.dir /home/administrator/hado原创 2014-07-23 18:21:00 · 675 阅读 · 0 评论 -
Ubuntu KyLin 搭建单机版+伪分布式 Hadoop 1.2.1
1.首先在Ubuntu中创建用户和用户组1.1创建用户组hadoop1.2创建Hadoop用户到hadoop用户组中这里,我的hadoop用户设置的密码是HUC1.3给hadoop用户组赋root权限用vi编辑器打开sudoers文件修改如下:这个文件是只读的,所以保存是要用wq! 具体操作 进入文件后按i原创 2014-07-21 17:00:33 · 1755 阅读 · 0 评论 -
MapReduct例子
1.WordCount的实现Map 端:一行行的读取文件,程序转换为中间的KEY/VALUE例如:两行My name is liu gang ->My 1 name 1 is 1 liu 1 gang 1What is your name -> What 1 is 1 your 1 name 1Reduce端:相同的KEY肯定会在一起,经过Reduce方法的出来后形原创 2014-08-01 16:08:31 · 667 阅读 · 0 评论