Sqoop安装配置教程

1.安装部署
(1)、下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.5.2.tar.gz
解压到/home/neil/Downloads/hadoop-2.7.3/sqoop-1.4.6
(2)、拷贝MySQL的jdbc驱动包mysql-connector-java-5.1.31-bin.jar到sqoop/lib目录下。
(3)、配置环境变量

sqoop

export SQOOP_HOME=/home/neil/Downloads/hadoop-2.7.3/sqoop-1.4.6
export PATH= PATH: SQOOP_HOME/bin
(4)、复制sqoop/conf/sqoop-env-template.sh为sqoop-env.sh
添加相关的配置

Setpath to where bin/hadoop is available

exportHADOOP_COMMON_HOME=/home/neil/Downloads/hadoop-2.7.3

Setpath to where hadoop-*-core.jar isavailable

exportHADOOP_MAPRED_HOME=/home/neil/Downloads/hadoop-2.7.3

setthe path to where bin/hbase isavailable

exportHBASE_HOME=/opt/cdh5/hbase-1.1.8

Setthe path to where bin/hive is available

exportHIVE_HOME= /home/neil/Downloads/hadoop-2.7.3/hive-1.2.1

Setthe path for where zookeper config diris

exportZOOCFGDIR= /home/neil/Downloads/hadoop-2.7.3/zookeeper-3.4.5
(5)测试Sqoop version
发现有警告
修改$SQOOP_HOME/bin/configure-sqoop
注释掉HCatalog,Accumulo检查(除非你准备使用HCatalog,Accumulo等HADOOP上的组件)

Moved to be a runtime check in sqoop.

if [ ! -d “${HCAT_HOME}” ]; then

echo “Warning: $HCAT_HOME does not exist! HCatalog jobs willfail.”

echo ‘Please set $HCAT_HOME to the root of your HCatalog installation.’

fi

if [ ! -d “${ACCUMULO_HOME}” ];then

echo “Warning: $ACCUMULO_HOME does not exist! Accumulo imports willfail.”

echo ‘Please set $ACCUMULO_HOME to the root of your Accumuloinstallation.’

fi

再次执行sqoop version
你也可以查看某一个命令的使用说明:
sqoopimporthelp sqoophelp import

sqoop import 的一个示例如下:
登录MYSQL
1.mysql -u root -p

2.创建数据库hadoopguide;
create database hadoopguide;

use hadoopguide;

3.创建表
create table widgets(id int not null primary key auto_increment,widget_name varchar(64) not null,price decimal(10,2),design_date date,version int,design_comment varchar(100));

4.插入几条记录
insert into widgets values(null,’sprocket’,0.25,’2010-02-10’,1,’connects two gizmos’);
insert into widgets values(null,’gizmo’,4.00,’2009-02-10’,1,null);
insert into widgets values(null,’sprocket’,99.99,’2011-02-10’,1,’Our flagship product’);

5.退出
quit

6.使用sqoop导入这个表数据到HDFS

$ sqoop import –connect jdbc:mysql://localhost:3306/hadoopguide –username root –password neil –table widgets

你还可以使用 –options-file 来传入一个文件,使用这种方式可以重用一些配置参数:
$ sqoop –options-file /users/homer/work/import.txt –table TEST
/users/homer/work/import.txt 文件内容如下:
import
–connect
jdbc:mysql://192.168.56.121:3306/metastore
–username
hiveuser
–password
redhat

ENVI软件在遥感影像处理中扮演着至关重要的角色,其中影像的几何纠正功能对于确保影像数据的确性至关重要。几何纠正的过程涉及调整影像坐标,使其与实际地理坐标系统一致,这一步骤对于后续的分析和制图至关重要。 参考资源链接:[ENVI遥感影像处理全面指南:预处理、信息提取与三维可视化](https://wenku.youkuaiyun.com/doc/398pr5x5h3?spm=1055.2569.3001.10343) 具体步骤如下: 1. 打开ENVI软件,导入需要进行几何纠正遥感影像。 2. 选择相应的工具,例如“Basic Tools”菜单下的“Geometric Correction”选项。 3. 根据影像数据类型和需要达到的度,选择合适的纠正方法。ENVI提供了多种纠正算法,包括多项式模型、共线方程、地面控制点(GCP)校正等。 4. 如果使用GCP校正,需要在影像上选择若干地面控制点,并输入这些点的实际地理坐标,作为校正的基础。 5. 进行校正参数的计算,这个过程通常涉及到解算一个或多个多项式方程,以最小化影像中的点与真实地理坐标间的偏差。 6. 使用计算得到的参数进行影像的重新采样和配准,最终输出几何校正后的影像。 7. 校正结果需要评估,一般通过比较校正前后GCP的残差来验证校正度和效果。 适用场景: 几何纠正广泛应用于地形变化检测、土地利用调查、城市规划、环境监测等多个领域。在这些应用场景中,影像的几何准确性直接影响到分析结果的可靠性。 为了深入学习ENVI中遥感影像几何纠正的更多细节和高级应用,推荐参考《ENVI遥感影像处理全面指南:预处理、信息提取与三维可视化》一书。该指南不仅提供了理论知识,还详细介绍了操作步骤和实际应用案例,有助于读者全面掌握几何纠正的技巧和方法。 参考资源链接:[ENVI遥感影像处理全面指南:预处理、信息提取与三维可视化](https://wenku.youkuaiyun.com/doc/398pr5x5h3?spm=1055.2569.3001.10343)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值