hadoop
很青的青蛙
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hbase安装记录
hbase只是安装试用了一下。。。 安装版本:hadoop-0.20.2 hbase-0.90.4(已经包含了zookeeper) 主机名角色Hadoop jps命令结果hadoop用户目录server1Hadoop MasterZoo原创 2013-02-20 12:23:15 · 781 阅读 · 0 评论 -
hadoop一些维护命令使用收集
1. 启动相关#在slave节点上启动datanode和tasktrackerhadoop-daemon.sh start datanodehadoop-daemon.sh start tasktracker 2. 优化相关#平衡数据start-balancer.sh原创 2013-02-20 11:43:20 · 2866 阅读 · 0 评论 -
hadoop日常维护,备份、恢复、增加移除节点
经验文档,写了很久了,现在贴出来吧,慢慢积累。1. 机器配置 NO.资产编号IP主机名配置1 192.168.42.20server1CPU:双核Pentium(R) Dual-Core CPU E5400 @ 2.70GHz原创 2013-02-20 11:41:09 · 7569 阅读 · 0 评论 -
hadoop hdfs 断点续传--下载
我们做了一个类似webhdfs的服务,通过rest api存储HDSF上的文件,这两天实现了对hdfs的断点续传的下载。要实现断点续传,读取文件时应该支持offset和length,支持seek方法,而实际上HDFS本身就支持指定偏移量读取文件:long offset = 1024;FSDataInputStream in = fs.open(new Path(path));in.se原创 2014-03-19 19:49:05 · 5479 阅读 · 2 评论 -
hadoop hdfs空间满后重启不了
服务器检查的时候,发现存在HDFS上的文件无法同步,再发现hadoop停掉了。进行重启,重启不成功。经过一系列的操作,终于把hadoop集群重启并恢复数据。原创 2014-08-06 14:30:06 · 3270 阅读 · 3 评论
分享