
haodoop
文章平均质量分 66
liuil
这个作者很懒,什么都没留下…
展开
-
hadoop增加新节点实践
hadoop增加一个节点实录原创 2014-09-13 00:03:53 · 2916 阅读 · 0 评论 -
hbase原理
1.hbase利用hdfs作为其文件存储系统,利用mapreduce来处理数据,利用zookeeper作为协调工具2.行键(row key),类似于主键,但row key是表自带的3.列族(column family) ,列(也称作标签/修饰符)的集合,定义表的时候指定的,列是在插入记录的时候动态增加的hbase表中的数据,每个列族单独一个文件4.timestamp 是列的一个属性原创 2014-11-29 23:29:15 · 967 阅读 · 0 评论 -
zookeeper原理
1.为了解决分布式事务性一致的问题2.文件系统也是一个树形的文件系统,但比linux系统简单,不区分文件和文件夹,所有的文件统一称为znode3.znode的作用:存放数据,但上限是1M ;存放ACL(access control list)访问控制列表,每个znode被创建的时候,都会带有一个ACL,身份验证方式有三种:digest(用户名密码验证),host(主机名验证),ip(ip验原创 2014-11-29 23:28:22 · 1294 阅读 · 0 评论 -
hbase shell基本命令
1.进入hbase shellhadoop@namenode:~/hbase-0.98.8-hadoop1/conf$ hbase shellHBase Shell; enter 'help' for list of supported commands.Type "exit" to leave the HBase ShellVersion 0.98.8-hadoop1, r6cf原创 2014-11-29 23:26:11 · 845 阅读 · 0 评论 -
hbase部署实践
一、下载hbase二、设置环境变量原创 2014-11-26 20:10:53 · 556 阅读 · 0 评论 -
yarn与第一代mapreduce比较
jobtracker变成了ResourceManager和ApplicationMaster;tasktraker变成了nodeManagerapplicationMaster是一个可变更的部分,用户可以对不同的编程模型些自己的applicationMaster原创 2014-10-19 22:35:53 · 983 阅读 · 0 评论 -
mapreduce的一个模版
package chapter1;import java.io.IOException;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;impo原创 2014-10-19 21:29:58 · 928 阅读 · 0 评论 -
部署zookeeper实践
zookper部署详细,实录原创 2014-11-16 17:32:46 · 2336 阅读 · 0 评论 -
mahout部署实践
mahout部署实践原创 2014-11-08 23:19:28 · 2102 阅读 · 0 评论 -
hadoop2新特性
hdfs联邦/hdfs快照原创 2014-09-16 21:44:42 · 1452 阅读 · 0 评论 -
hadoop 2.4.1 64位编译记录
安装jdk安装mavensudo apt-get install maven安装g++sudo apt-get install g++安装protobuf-2.5.0下载解压 cd protobuf-2.5.0/,进行如下操作:sudo ./configure sudo make sudo make check sudo make install sudo ldconfigs原创 2015-05-12 22:40:05 · 1016 阅读 · 0 评论