
hadoop
很青的青蛙
这个作者很懒,什么都没留下…
展开
-
hbase安装记录
hbase只是安装试用了一下。。。 安装版本:hadoop-0.20.2 hbase-0.90.4(已经包含了zookeeper) 主机名 角色 Hadoop jps命令结果 hadoop用户 目录 server1 Hadoop Master Zoo原创 2013-02-20 12:23:15 · 741 阅读 · 0 评论 -
hadoop一些维护命令使用收集
1. 启动相关 #在slave节点上启动datanode和tasktracker hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker 2. 优化相关 #平衡数据 start-balancer.sh原创 2013-02-20 11:43:20 · 2830 阅读 · 0 评论 -
hadoop日常维护,备份、恢复、增加移除节点
经验文档,写了很久了,现在贴出来吧,慢慢积累。 1. 机器配置 NO. 资产编号 IP 主机名 配置 1 192.168.42.20 server1 CPU:双核Pentium(R) Dual-Core CPU E5400 @ 2.70GHz原创 2013-02-20 11:41:09 · 7489 阅读 · 0 评论 -
hadoop hdfs 断点续传--下载
我们做了一个类似webhdfs的服务,通过rest api存储HDSF上的文件,这两天实现了对hdfs的断点续传的下载。 要实现断点续传,读取文件时应该支持offset和length,支持seek方法,而实际上HDFS本身就支持指定偏移量读取文件: long offset = 1024; FSDataInputStream in = fs.open(new Path(path)); in.se原创 2014-03-19 19:49:05 · 5400 阅读 · 2 评论 -
hadoop hdfs空间满后重启不了
服务器检查的时候,发现存在HDFS上的文件无法同步,再发现hadoop停掉了。进行重启,重启不成功。 经过一系列的操作,终于把hadoop集群重启并恢复数据。原创 2014-08-06 14:30:06 · 3234 阅读 · 3 评论