nywsp的专栏

Hadoop 1.0.0 集群安装 环境说明 Windows 下安装 VMware Workstation 7,用 VMware 安装 Redhat Enterprise Linux 6.2 虚拟机并克隆,共创建了 3 台虚拟机。 地址和机器名分别为: 192.168.0.100 master.hadoop 192.168.0.101 slave1.hadoop 192.168.0.1

import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.a

.登录hbase客户端 ./bin/hbase shell 新建数据表，并插入3条记录  hbase(main):003:0> create 'test', 'cf' row(s) in 1.2200 seconds hbase(main):003:0> list 'table' test row(s) in 0.0550 seconds hbase(main)

1.修改conf/hbase-env.sh，添加jdk支持  export JAVA_HOME=/usr/local/jdk export HBASE_MANAGES_ZK=true export HBASE_LOG_DIR=/data/logs/hbase2. 修改conf/hbase-site.xml， hbase.rootdir hdfs://master:9000/hba

格式化namenode hadoop namenode -format 查看hadoop进程运行 jps 查看Hadoop集群的状态 hadoop dfsadmin -report 关闭防火墙 service iptables stop 关闭安全模式 hadoop dfsadmin -safemode leave 列出H

安装mysql 并且在hive/lib文件中加入mysql链接驱动 建立数据库hive •create database hive  •创建hive用户,并授权 •grant all on hive.* to hive@'%'  identified by 'hive';   •flush privileges;     安装Hive

寒假的时候写的，就是忘了保存。。今天找了好久才找出来，好吧。。有用的东西得记得保存。。 import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apa

具体 http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html 出现security.UserGroupInformation: PriviledgedActionException as:wsp cause:java.net.UnknownHostException: unknown host: master Except

上传，下载文件 Configuration conf=new Configuration(); FileSystem hdfs=FileSystem.get(conf); //本地文件 Path src =new Path("F:\\abc.txt"); //HDFS为止 Path dst =new Path("/

第二章                      1. Hadoop 将mapreduce 的输入数据划分成等小的数据块，称为输入分片，每个分片对应一个map任务。分片不能太大也不能太小，太大了并行的速率较低，太小了io花费的时间太多，默认是一个hdfs块的大小，也就是64m，因为这样的话就不需要跨节点调度不同的hdfs文件，也可以自己调节。