
Hadoop/hbase
iteye_1029
这个作者很懒,什么都没留下…
展开
-
Linux hadoop setup
NOTE:因为hadoop远程调用用的是RPC,所以linux系统必须关闭防火墙 service iptables stop 格式化:hadoop namenode -format 1.vi /etc/inittab id:5:initdefault:改为id:3:initdefault:即为字符型启动 2.ip configuration:/etc/s...2008-12-26 09:25:51 · 116 阅读 · 0 评论 -
hadoop hdfs 一些用法
Example 3-1. Displaying files from a Hadoop filesystem on standard output using a URLStreamHandler [code="java"] //Reading Data from a Hadoop URL public class URLCat { static { URL.setURL...2009-08-25 15:22:27 · 116 阅读 · 0 评论 -
hadoop hbase /etc/init.d style startup scripts
I scoured the InterTubes for example hadoop/hbase startup scripts and found absolutely none! I ended up creating a minimal one that is so far only suited for the Pseudo-Distributed Operation mode as i...原创 2009-03-06 13:37:57 · 107 阅读 · 0 评论 -
Hbase API TEST
[code="java"]一个使用HBase的例子,如下。 import java.io.IOException; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Scanner; import org.apache.hadoop.hbase.io.BatchUpda...原创 2009-03-02 15:25:23 · 84 阅读 · 0 评论 -
hadoop 报Name node is in safe mode错解决办法
运行hadoop程序时, 中途我把它终止了,然后再向hdfs加文件或删除文件时,出现Name node is in safe mode错误: rmr: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 解决的命令: bin/hadoo...原创 2009-02-03 14:22:16 · 108 阅读 · 0 评论 -
hadoop修改默认的心跳检测的时间
在hadoop-site.xml中增加 heartbeat.recheck.interval 默认在10分钟 自已配制时:5000值大概在40秒左右2009-02-02 14:22:24 · 373 阅读 · 0 评论 -
hadoop nameNode 备份方法
nameNode保存文件在集群中的存信息,一但nameNode挂掉,整个集群就完了,所以要做好对nameNode的备份。(恢复时,将name目录里的文件都copy到备份机器上,配制好和nameNode相同的运行环境就行了)。 1.用linux的DFS系统备份到其它机器上,修改hadoop-site.xml里的dfs.name.dir增加: dfs.name....2009-01-17 12:23:29 · 309 阅读 · 0 评论 -
hadoop hdfs tips
一、可以用网上的hdfs-webDav在windows机器上通过网上邻居防问hadoop的hdfs文件系统。步骤: 1.下载hdfs-webdav.war,修改hdfs-webdev.war里面的WEB-INF/classes/hadoop-site.xml 修改fs.default.name属性,以确定hdfs-webdev要连接的hadoop NameNode Server,示例...2009-01-14 17:46:07 · 96 阅读 · 0 评论 -
HBase入门
HBase入门HBase入门 部分内容参考于http://www.nabble.com/Re%3A-Map-Reduce-over-HBase---sample-code-p18253120.html HBase是Hadoop的一个子项目,HBase采用了Google BigTable的稀疏的,面向列的数据库实现方式的理论,建立在hadoop的hdfs上,一方面里用了hdfs的高可靠...原创 2009-08-31 15:57:02 · 141 阅读 · 0 评论