[Sqoop]利用sqoop对mysql执行DML操作

最新推荐文章于 2023-10-25 16:25:29 发布
最新推荐文章于 2023-10-25 16:25:29 发布
阅读量3.1k 收藏 2
点赞数 1
分类专栏： [大数据]Sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yeweiouyang/article/details/46422497
版权
本文介绍了如何在业务背景下，通过Sqoop工具对MySQL数据库执行查询、添加和删除等DML操作。详细说明了select和delete操作的执行过程，并强调只需提供SQL语句作为参数即可完成对MySQL的数据操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

业务背景

利用sqoop对mysql进行查询、添加、删除等操作。

业务实现

select操作：

sqoop eval \
--connect jdbc:mysql://127.0.0.1:3306/market \
--username admin \
--password 123456 \
--query "select end_user_id, category_id, score, last_bought_date, days_left, update_time 
from market.PERIOD_RECOMMEND limit 10"

执行结果如下：

[pms@yhd-jqhadoop39 /home/pms/workspace/ouyangyewei/data]
$sqoop eval \
> --connect jdbc:mysql://10.0.2.54:3307/market \
> --username marketuser \
> --password 123456 \
> --query "select end_user_id, category_id, score, last_bought_date, days_left, update_time 
> from market.PERIOD_RECOMMEND limit 10" 
Warning: /usr/lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
15/
最低0.47元/天 解锁文章
使用Sqoop在MySQL上执行DML操作
SrySmalltalk的博客
09-23 45
它提供了一种简单的方法来将关系型数据库中的数据导入到Hadoop集群中，也可以将Hadoop集群中的数据导出到关系型数据库中。它提供了一种简单的方法来将关系型数据库中的数据导入到Hadoop集群中，也可以将Hadoop集群中的数据导出到关系型数据库中。如果在Hadoop集群中对数据进行更改，可以使用相同的命令将更改的数据更新回MySQL表中。如果在Hadoop集群中对数据进行更改，可以使用相同的命令将更改的数据更新回MySQL表中。通过使用上述的Sqoop命令，你可以在MySQL上执行DML操作。
【大数据】Flink CDC 实时同步mysql数据
最新发布
congge
10-07 1万+
Flink CDC 实时同步mysql数据
hue平台oozie工作流操作sqoop，把mysql.pdf
05-28
hue平台oozie工作流操作sqoop，把mysql数据传输到hdfs上
sqoop 和mysql相关操作
热爱生活,热爱技术的大彪
06-02 590
数据迁移工具,可以和RDBMS相互迁移数据 需要先将db driver copy to sqoop lib dir 注意：     sqoop是以mapreduce的方式来运行任务的，用hdfs来存储数据的。所以依赖NameNode和ResourceManager，只要机器上配置了这两个就可以正常运行，程序运行时会自动读取环境变量.
hue 执行sqoop action
weixin_40137479的博客
01-19 1019
hue 中执行sqoop action时候，以下方式可以正确执行成功，数据成功导入hive表中，有以下几个注意的地方： 1、操作的时候不能带sqoop在前面，只需要import export 就可以了 2、在--columns中 不能使用单引号''，只需要在--column之后列出所有的需要导入的列就可以了 3、--fields-terminated-by '\t' 该参数使用可
Sqoop工具模块之sqoop-export
weixin_34054866的博客
07-26 379
2019独角兽企业重金招聘Python工程师标准>>> ...
sqoop全增量导出到mysql
qq_15875901的博客
03-18 1199
全量导出 HQL示例：insert overwrite directory ‘/user/root/export/test’ row format delimited fields terminated by ‘,’ STORED AS textfile select F1,F2,F3 from ; SQOOP脚本：sqoop export --connect jdbc:mysql://loca...
sqoop中文文档
09-05
以下是对 Sqoop 技术的详细说明： 1. **概述**： Sqoop 提供了一种方便的方式来导入和导出数据，支持多种数据库系统，如 MySQL、Oracle、PostgreSQL 等。通过 Sqoop，用户可以将数据从 RDBMS 导入到 HDFS，进而...
小米技术分享：Mysql数据实时同步实践
JavaShark的博客
06-15 3899
MySQL由于自身简单、高效、可靠的特点，成为小米内部使用最广泛的数据库，但是当数据量达到千万/亿级别的时候，MySQL的相关操作会变的非常迟缓；如果这时还有实时BI展示的需求，对于mysql来说是一种灾难。为了解决sql查询慢，查不了的业务痛点，我们探索出一套完整的实时同步，即席查询的解决方案，本文主要从实时同步的角度介绍相关工作。早期业务借助Sqoop将Mysql中的数据同步到Hive来进行数据分析，使用过程中也带来了一些问题：为了更有效地连接前端业务数据系统（MySQL）和后端统计分析系统（查询分析引
数据同步工具Sqoop，DataX，Maxwell区别
qq_53663722的博客
10-25 1446
这些工具之间的主要区别在于它们的应用场景和支持的数据源和目的地类型。Sqoop主要用于Hadoop与传统关系型数据库之间的数据传输，DataX是一个通用的数据传输工具，支持多种数据源和目的地的数据传输，而Maxwell主要用于实时捕获和传输MySQL数据库的变更操作。
sqoop mysql where_Sqoop基本语法简介
weixin_29649815的博客
02-07 631
1.查看命令帮助[hadoop@hadoop000 ~]$ sqoop helpusage: sqoop COMMAND [ARGS]Available commands:codegen Generate code to interact with database recordscreate-hive-table Import a table definition int...
Sqoop通过条件实现数据的抽取
LBJ_小松鼠的博客
12-15 1382
1. where条件部分导入HDFS 我们可以导入表时使用Sqoop导入工具，"where"子句的一个子集。它执行在各自的数 据库服务器相应的SQL查询，并将结果存储在HDFS的目标目录。 sqoop import \ --connect jdbc:mysql://192.168.52.150:3306/test \ --username root --password 123456 --table emp_add \ --target-dir /sqoop/emp_add -m 1 --delete-
[Sqoop]Sqoop使用
SmartSi
11-14 1万+
Sqoop的本质还是一个命令行工具，和HDFS，MapReduce相比，并没有什么高深的理论。我们可以通过sqoop help命令来查看sqoop的命令选项，如下：16/11/13 20:10:17 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6usage: sqoop COMMAND [ARGS]Available commands:  codege
Sqoop各种执行命令总结（详细！可直接用！）
Forever_ck的博客
12-21 3490
闲话少叙，直接上命令： 一、将Mysql表数据导入hdfs（可加过滤条件） ./sqoop import --connect jdbc:mysql://**Mysql安装的主机IP（或映射）**:3306/数据库名 --username 用户名 --password 密码 --table 表名 --target-dir 存储在hdfs上的表名 --delete-target-dir --m 1 ...
Sqoop导入mysql所有表到HDFS
阿正的博客
04-08 814
1、sqoop-import-all-tables导入多表 [root@node1 sqoop-1.4.7]# bin/sqoop-import-all-tables --connect jdbc:mysql://node1:3306/esdb --username root --password 123456 --as-textfile --warehouse-dir /user/root Wa...
hue配置使用mysql
xblylwolf的博客
06-12 3439
因为Hue的元数据库是sqlite，容易产生database is locked的异常，所以建议大家把元数据库改为mysql。我们先打开mysql的root用户，然后新建一个hue用户，并为它授权，来使mysql作为hue的元数据库。sudo service mysql startmysql -u root -p进入mysql后，进行如下操作：create database hue;create ...
[1021]利用sqoop对mysql执行DML操作
周小董
07-10 343
文章目录业务背景业务实现 业务背景 利用sqoop对mysql进行查询、添加、删除等操作。 业务实现 select操作： sqoop eval \ --connect jdbc:mysql://127.0.0.1:3306/market \ --username admin \ --password 123456 \ --query "select end_user_id, category_id, score, last_bought_date, days_left, update_time from
Sqoop调用存储过程
Xlucas的博客
08-16 2696
Sqoop 调用存储过程小编这几天一直在尝试用sqoop直接调用oracle里面的存储过程,玩了2天都没有搞定,一直尝试用 export里面的 call命令去调用存储过程,我需要实现的就是在同步数据之前先将oracle里面这张表的数据清空,在同步.总是出这个错误,这个我在dual表里面放了一条记录，还是不行，对于这个call的用户一直没有得到很好的解决， ​sqoop export --connec
sqoop qoop-export 数据覆盖
似水流年
01-14 1万+
问题导读： 1、Sqoop export有哪三种导出模式，Sqoop默认是哪个模式？ 2、INSERT模式和UPDATE模式区别，各自应用场景？ 3、--update-key 、--column-key、--export-dir参数各自的作用？ 4、--update-mode参数有哪两种模式，区别是什么？ 5、Sqoop 导出插入事务提交原理，一条插入语句包含多少条记
Apache Sqoop Job操作指南：创建、执行与管理
在大型数据处理场景中，Sqoop job 可以将执行的导入导出操作保存为一个作业，以便在需要时重复使用或通过调度器进行自动化管理。 一、Job 语法 Sqoop job 的基本语法包括创建、执行、查看和删除等操作。创建一个新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值