
hadoop
nuisthou
学生
展开
-
Hbase中LSM索引思想
我们首先介绍一下B+树:Oracle的普通索引就是采用B+树的方式;根节点和枝节点很简单,分别记录每个叶子节点的最小值,并用一个指针指向叶子节点。叶子节点里每个键值都指向真正的数据块(如Oracle里的RowID),每个叶子节点都有前指针和后指针,这是为了做范围查询时,叶子节点间可以直接跳转,从而避免再去回溯至枝和跟节点。B+树最大的性能问题是会产生大量的随机IO,随着新数原创 2015-10-19 15:15:16 · 2453 阅读 · 0 评论 -
unbuntu虚拟机上搭建伪分布式hadoop
一. 你要安装Ubuntu这一步省略;二. 在Ubuntu下创建hadoop用户组和用户;1. 创建hadoop用户组: sudo addgroup hadoop2. 创建hadoop用户: sudo adduser -ingroup hadoop hadoop3. 给hadoop用户添加权限,打开/etc/sudoers文件: su原创 2015-09-17 10:20:42 · 819 阅读 · 0 评论 -
unbuntu下安装伪分布式Hbase
1.下载 hbase 用什么版本的hadoop,就用什么版本的hbase;我采用的hadoop版本是hadoop-0.20.2,采用的hbase版本为hbase-0.90.52.解压下载到的hbase安装包,在/home/hadoop/下解压tar -zxvf *************3.修改两个配置文件:原创 2015-10-19 18:48:15 · 533 阅读 · 0 评论 -
win7下使用eclipse远程连接hadoop
1.Hadoop的eclipse plugin跟hadoop发行版一起分发,到hadoop安装目录\ contrib\eclipse-plugin下可以找到该插件。将这个插件放到放到eclipse安装目录的plugins文件夹中,如果重新打开eclipse后看到有如下视图,则说明你的hadoop插件已经安装成功了:2、配置(1)将hadoop解压到windows文件系统的某个目转载 2015-09-22 20:17:23 · 997 阅读 · 0 评论 -
unbuntu虚拟机下hadoop实例wordcount的运行
1.查看hadoop进程启动情况:jps。正常情况下应该有NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker2.查看集群状态:bin/hadoop dfsadmin -report;3.在/usr/local/hadoop/hadoop-0.20.2创建目录test,在test下创建文本file01、file02,分别原创 2015-09-24 10:36:29 · 899 阅读 · 0 评论 -
hadoop处理气象数据
关于hadoop处理气象数据,这里给出几篇比较好的文章:http://www.cnblogs.com/shishanyuan/archive/2014/12/22/4177908.html;http://blog.163.com/lzm07@126/blog/static/25705468201331702456829/;原创 2016-11-07 13:45:46 · 3399 阅读 · 0 评论