sqoop将数据导入到hdfs

最新推荐文章于 2024-08-12 03:07:57 发布

matao_jack

最新推荐文章于 2024-08-12 03:07:57 发布

阅读量328

点赞数

CC 4.0 BY-SA版权

分类专栏： sqoop

本文链接：https://blog.youkuaiyun.com/Piratesa/article/details/99346273

sqoop 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Sqoop的安装步骤，包括环境变量配置、数据库驱动包添加、配置文件修改及测试方法。同时，提供了从MySQL导入数据到Hadoop的具体操作流程，包括使用sqoop命令进行数据导入和Hive表创建。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

安装步骤：
1、解压
2、配置环境变量
export SQOOP_HOME=/XX/sqoop.xx
source /etc/profile
3、添加数据库驱动包
cp mysql-connector-java-5.1.10.jar /sqoop-install-path/lib
4、重命名配置文件
mv sqoop-env-template.sh sqoop-env.sh
5、修改配置configure-sqoop
去掉未安装服务相关内容；例如（HBase、HCatalog、Accumulo）：
6、测试
sqoop version
sqoop list-databases -connect jdbc:mysql://node3:3306/ -username root -password 123
第一种：
编辑文件sqoop1

sqoop：
导入：

import
--connect
jdbc:mysql://hadoop1:3306/test
--username
root
--password
123
--as-textfile
--columns
id,name,msg
--table
psn
--delete-target-dir
--target-dir
/sqoop/data
-m


命令：
sqoop --options-file sqoop1

导入：

import
--connect
jdbc:mysql://hadoop1/test
--username
root
--password
123
--as-textfile
--query
'select id, name, msg from psn where id like "1%" and $CONDITIONS'
--delete-target-dir
--target-dir
/sqoop/tmp
-m
1
--hive-home
/home/hive-1.2.1
--hive-import
--create-hive-table
--hive-table
t_test