Hadoop
关注
分享
扫一扫
文章平均质量分 80
放飞的心灵
这个作者很懒，什么都没留下…
展开
-
hadoop权威指南中的ncdc数据下载地址及命令
ftp://ftp.ncdc.noaa.gov/pub/data/gsod/命令：The data are available via:1) WWW -- http://www.ncdc.noaa.gov/cgi-bin/res40.pl?page=gsod.html2) FTP -- ftp://ftp.ncdc.noaa.gov/pub/data/gsod vi转载 2013-11-25 14:15:52 · 1062 阅读 · 0 评论 -
利用SQOOP将数据从数据库导入到HDFS
基本使用如下面这个shell脚本：#Oracle的连接字符串，其中包含了Oracle的地址，SID，和端口号CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1521:DWRAC2#使用的用户名ORACLENAME=kkaa#使用的密码ORACLEPASSWORD=kkaa123#需要从Oracle中导入的表名oralceTab转载 2013-12-04 15:25:17 · 786 阅读 · 0 评论 -
Sqoop安装及MySql数据导入HBase
Sqoop介绍 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如:MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。（本文档中使用的是sqoop-1.4.2-cdh4.2.1版本）为什么要使用sqoop 因为转载 2013-12-04 15:23:45 · 819 阅读 · 0 评论 -
Hadoop学习笔记_安装篇之一：Hadoop安装
(一)安装Hadoop1、 运行环境1、RHEL5.4 kernel:2.6.18-164.el52、WMware Workstation 8.0.33、Hadoop-0.20.0和Hadoop-1.0.14、Hive-0.115、Sqoop-1.2.0-CDH3B4和Sqoop-1.4.4.bin__hadoop-1.0.06、Hbasee-原创 2014-03-05 14:30:27 · 845 阅读 · 0 评论 -
Hadoop学习笔记_安装篇之二：HIVE安装
1、 安装Hive cd /tools tar -zxvf hive-0.11.0.tar.gz mv hive-0.11.0 /usr/java/hive cd /usr/java/ chown -R hadoop:hadoop hive/2、 配置Hive (1) 增加HIVE_HOME原创 2014-03-05 14:35:21 · 927 阅读 · 0 评论 -
Hadoop学习笔记_操作篇之一：HDFS操作
1、 查看版本hadoop version2、 查看目录hadoop fs -ls /hadoop fs -ls /user/hadoop3、 创建目录hadoop fs -mkdir /user/in4、 删除目录hadoop dfs -rmr test5、 删除文件hadoop fs -rm test.txt6原创 2014-03-05 14:41:04 · 1005 阅读 · 0 评论