
Hadoop
文章平均质量分 72
pigHead_chen
性格开朗,热爱生活和美女,毕业不久,努力学习中。
展开
-
在ubuntu上安装hadoop
1,添加专用的hadoop系统用户添加组hadoop,添加组用户hduser$ sudo addgrouphadoop$ sudo adduser --ingroup hadoop hduser 2,安装openssh server(伪分步模式需要用到)。hadoop需要ssh权限管理节点(nodes),$ sudo apt-getinstall ssh$ sudo原创 2013-02-27 11:22:15 · 510 阅读 · 0 评论 -
在ubuntu上安装jdk
我先在WIN7上安装了vmware,在vmware上安装了ubuntu。这样就有双系统了。只要安装vmware tools,就可以方便的在WIN7和ubuntu之间传文件了。 首先下载jdk7。地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html jdk-7u15-l原创 2013-02-27 11:16:41 · 1414 阅读 · 0 评论 -
hbase 0.94的filter测试代码
1,RowFilter的使用package hTableManagement;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.K原创 2013-05-27 16:37:38 · 914 阅读 · 0 评论 -
hbase 0.94一些基本操作测试代码
1,用Get方法package hTableManagement;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.KeyValu原创 2013-05-27 16:24:40 · 961 阅读 · 0 评论 -
hbase总结一
随时更新一,RowKey设计瘦表更加高效一点 二,Scan.addColumn(byte[] family, byte[] qualifier)方法如果添加了两列scan.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("p1")); scan.addColumn(Bytes.toBytes("cf"), Byte原创 2013-05-17 09:29:09 · 1171 阅读 · 1 评论 -
从hdfs批量导数据到hbase
从hdfs导数据到hbase1,创建表n0,包含5个字段gvbtchbase(main):002:0> create 'n0','row','g','v','b','t','c'2,用ImportTsv 导数据,修改-D为 -Dimporttsv.separator=,则以逗号分隔的数据hduser@localhost:/usr/local/hbase$ bin/hbase org原创 2013-03-15 14:00:55 · 3317 阅读 · 0 评论 -
ubuntu下生成Hadoop的eclipse插件
编译前的准备:我用到是ubuntu12,默认没有安装ant。第一步安装Ant1,从http://www.apache.org/dist/ant 下载 apache-ant-1.8.4-bin.tar.gz2,解压到/usr/local/ant3,设置环境变量ANT_HOME="/usr/local/ant"export PATH=${ANT_HOME}/bin:$PAT原创 2013-03-15 13:36:21 · 1924 阅读 · 0 评论 -
hBase独立模式的安装与测试
独立模式1,从http://www.apache.org/dyn/closer.cgi/hbase/ 下载hbase2,把下载的hbase-0.94.5.tar.gz解压到/usr/local目录下,并重命名hbase-0.94.5为hbase3,配置环境变量在/etc/profile.d文件夹下添加hbase.sh添加export HBASE_HOME=/usr/loca原创 2013-03-15 13:53:27 · 1123 阅读 · 0 评论 -
Hadoop用Sqoop连接Sql Server 2008
依然是ubuntu12第一步安装Sqoop1,download tarball2,解压到/usr/local/Sqoop-x.x.x,并重命名为Sqoop3,设置SQOOP_PATH。hduser@localhost:/usr/local/sqoop$ export SQOOP_HOME="/usr/local/sqoop"hduser@localhost:/usr/lo原创 2013-03-15 13:50:15 · 5020 阅读 · 0 评论 -
从ftp下载日志到hbase
1,写Java代码import java.io.IOException;import java.io.OutputStream;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSD原创 2013-03-15 14:09:45 · 1231 阅读 · 0 评论 -
Hadoop不用eclipse去编译运行WordCount
1,写程序MyWordCount.javahduser@ubuntu:/usr/local/hadoop$ gedit MyWordCount.javapackage org.myorg;import java.io.IOException;import java.util.*;import org.apache.hadoop.fs.Path;import org.apache原创 2013-03-15 12:56:16 · 865 阅读 · 0 评论