
Sqoop
分享大数据学习相关内容,以及在工作中遇到的大数据问题
程序员X小鹿
前互联网大厂程序员/AIGC爱好者/自由职业3年+
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Sqoop(三)—— Sqoop脚本打包
文章目录1. 脚本打包2. Sqoop一些常用命令及参数2.1 job命令1. 脚本打包使用opt格式的文件打包Sqoop命令,然后执行。(1) 创建一个.opt文件# 创建一个.opt文件touch job_HDFS2RDBMS.optjob_HDFS2RDBMS.opt文件内容如下:# 以下命令是从stu中追加导入到MySQL的stu_hive表中export--conne...原创 2020-03-11 16:18:54 · 749 阅读 · 0 评论 -
Sqoop(二)—— Sqoop导入/导出数据
文章目录1. 导入数据1.1 RDBMS -> HDFS1.1.1 全部导入1.1.2 查询导入1.1.3 导入指定列1.1.4 使用sqoop关键字筛选查询导入数据1.2 RDBMS -> Hive1.2.1 普通导入1.2.2 增量导入(incremental append)1.2.3 增量导入(incremental lastmodified)1.3 RDBMS -> HB...原创 2020-03-11 15:52:54 · 903 阅读 · 0 评论 -
Sqoop(一)—— Sqoop安装配置
文章目录1. Sqoop介绍1.1 Sqoop简介1.2 Sqoop原理2. Sqoop安装配置1. Sqoop介绍1.1 Sqoop简介Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。请注意,1.99.7与1.4.6不兼容,且没有特征不完整,...原创 2020-03-11 15:41:41 · 292 阅读 · 0 评论