使用sqoop遇倒的问题集锦

解决sqoop导入Hive数据时遇到的问题及解决方法
最新推荐文章于 2022-06-27 09:30:00 发布
最新推荐文章于 2022-06-27 09:30:00 发布
阅读量416 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： sqoop 88
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/testManger/article/details/85712657
本文介绍了使用sqoop进行数据迁移时遇到的问题，包括查询数据库表和创建Hive表的命令。当尝试从MySQL导入数据到Hive时，由于Hive库不存在导致错误。解决方案是将Hive的hive-exec.jar库复制到sqoop的lib目录下，确保sqoop能够识别并处理Hive的元数据。

1.使用sqoop的简单命令

sqoop   list-tables  --username  root   --password  ''     --connect     jdbc:mysql://192.168.27.132:3306/hello?characterEncoding=UTF-8   //查询数据的表

sqoop create-hive-table --connect  jdbc:mysql://192.168.233.128:3306/BigDateTest?characterEncoding=UTF-8  --table  student  --username   root   -password '' --hive-database  db_hive_Student   //导入数据

解决办法:

将hive 里面的lib下的hive-exec-**.jar 放到sqoop 的lib 下可以解决以下问题。

原因： 表示在hive中需要先创建test库  即第二条命令"--hive-database  db_hive_Student  "这一部分 hive 得要有这样一张表或者数据库

 

 

 

2024年大数据高频面试题(下篇）
program哲学
07-17 2万+
本文详细介绍大数据岗位热门高频面试题并附有详细答案说明，下篇包含scala、即席查询、分区、分桶、分片、调度系统、数据倾斜等内容的常见面试题
第一章 Sqoop专题之常见面试题
qq_27924553的博客
12-21 1713
sqoop常见面试题
Sqoop 导入导出经验浅谈
程序员学习圈
05-01 816
1.在增量导出模式下如何选择 update-key 在增量导出模式下，无论是allowinsert模式还是updateonly模式，都需要设置update-key： • allowinsert模式：该模式下生成的是insert语句，从这个角度讲update-key是没有作用的，但是在CDH Sandbox上测试时发现，如果不指定update-key则会导致reduce执行失败。...
sqoop遇到的问题
qq_27588207的博客
07-09 333
1    sqoop导出和导入都是以dfs或hive为基准，以mysql或oracle为方向 2    sqoop在用mysql、oracle表明时必须大写表名，否则报错 3    sqoop在进行export操作时，为了保证导出时事物一致性需要一张临时表作为中间表，临时表结构与导出表结构一致 4    sqoop在进行import操作时基本不用考虑事物，如果使用insert overwri
Sqoop练习题
Maynor的博客
12-17 1394
文章目录Sqoop练习题题一题二 Sqoop练习题 题一 1.准备数据 CREATE TABLE student ( id int(11) DEFAULT NULL, name varchar(100) DEFAULT NULL, class varchar(100) DEFAULT NULL, age int(11) DEFAULT NULL, high varchar(10) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=latin1; INSERT INTO
sqoop 问题以及 小tips
a45691316的博客
12-21 199
sqoop 问题以及 小tips 1. Sqoop import 任务里把原来NULL的转化成字符串‘null’了。 解决方法： 先： alter table ${table_name} SET SERDEPROPERTIES('serialization.nu...
Sqoop面试题
weixin_33858336的博客
06-14 1080
Sqoop参数有哪些？ Sqoop导入导出Null存储如何处理？ Sqoop数据导出一致性问题如何解决（部分map任务失败）？ Sqoop底层运行的任务时什么？ 这个项目Sqoop数据导出一次执行多长时间？ 转载于:https://juejin.im/post/5d02e35af265da1b7a4b6fa6...
大数据知识面试题-Sqoop（2022版）
拉格朗日的学习笔记
06-27 1951
sqoop是apache旗下一款**“Hadoop和关系数据库服务器之间传送数据”**的工具。导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；**导出数据：**从Hadoop的文件系统中导出数据到关系数据库mysql等将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 mysql导入到hive 从hdfs导出到mysql 1.2.2、sqoop中文
Sqoop问题总结
qq_40417278的博客
12-25 824
运行sqoop连接sqlserver的命令碰到如下问题： 问题：WARN tool.EvalSqlTool: SQL exception executing statement: com.microsoft.sqlserver.jdbc.SQLServerException: 用户 ‘sa’ 登录失败。 ClientConnectionId:4a96ee65-f785-40fd-9377-2ba0...
sqoop 小问题集锦
scjthree的专栏
05-23 606
今天进行sqoop正式环境测试，结果碰上一大堆问题1、测试库上运行好好的sqoop正式库上不可用。查了下，测试库上使用的是2.0以上版本，正式库上则还是1.0.4版本。当年上线的时候两个还是一样的，后来测试库做了升级用于测试2.0的新特性。（补充下，2.0真心快啊）去官网上下载，注意sqoop后面带的版本号。这边hadoop1.0.4就下载第三个sqoop包就可以了 tag：2.0属于新一代had
sqoop问题总汇（updating）
hadoop
11-19 454
Got exception running sqoop: Could not load db driver class:com.mysql.jdbc.Driver 把jdbc driver 放到sqoop lib 文件夹中。 wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.21.tar.gz
连接MySql报错Unknown system variable 'query_cache_size'
培根芝士的专栏
07-05 3989
在使用mybatis-generator-maven-plugin:generate的时候报了一个Unknown system variable 'query_cache_size'的错误。 错误的原因是数据库驱动不匹配导致的。 打开https://mvnrepository.com 搜索mysql-connector-java，找到MySQL Connector/J（JDBC Type ...
报错:java.sql.SQLException: Unknown system variable 'query_cache_size'
weixin_44123053的博客
12-22 437
实际上,数据库链接版本比较老(至少不支持时区) pom.xml更改版本 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version&gt...
sqoop 常见错误以及处理方式
weixin_34162695的博客
09-06 568
　　 Oracle: Connection Reset Errors 错误代码 11/05/26 16:23:47 INFO mapred.JobClient: Task Id : attempt_201105261333_0002_m_000002_0, Status : FAILED java.lang.RuntimeException: java.lang.RuntimeExce...
Sqoop使用分析
09-05 2778
Sqoop的Mysql数据导出实现分两种，一种是使用JDBC方式从Mysql中获取数据，一种是使用MysqlDump命令从MySql中获取数据，默认是 JDBC方式获取数据，如果要使用dump方式获取数据，需要添加 -direct 参数。 先说第一种： 配置语句时，需要添加 $CONDITIONS 点位符，比如：SELECT id FROM user WHERE $CONDITIONS，S
控制台报错：Unknown database 'xxxxx'
Sun_xiangyan的博客
06-10 6091
https://blog.youkuaiyun.com/qq_37968867/article/details/89707149
【大数据开发】sqoop学习总结和踩过的坑
白色风车
09-19 1329
结论（所有显示一个 - 的都是两个 – 放csdn就这个样子了，我也没办法） where 子句要加单引号，query 要加双引号或者单引号，其他都不要加单引号或者双引号，具体区别看下面 –1. 如果使用–query 不能使用–table –2. 如果使用–query, select语句中必须要有where子句，子句中必须要有$ CONDITIONS –3. select语句可以使用单引号，也可以使用双引号，如果使用双引号，那么$ 必须加转义字符 –4. 如果使用–query，需要指定切分字段，也就是参数–
sqoop导入hive数据时对换行等特殊字符处理
CaptainJava的博客
09-11 8674
使用场景：  公司大数据平台ETL操作中，在使用sqoop将mysql中的数据抽取到hive中时，由于mysql库中默写字段中会有换行符，导致数据存入hive后，条数增多（每个换行符会多出带有null值得一条数据），导致统计数据不准确。   解决办法： 利用一下两个参数可以实现对换行等特殊字符的替换或者删除 --hive-delims-replacement --hive-drop-i...
Sqoop使用手册：数据导入导出指南
在使用Sqoop进行大数据量的导入导出时，合理配置内存和资源使用可以避免因资源竞争而导致的任务失败。 5. **使用增量导入** 如果需要经常性地更新数据，可以使用Sqoop的增量导入功能，这样只需传输自上次导入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小赖同学啊

感谢上帝的投喂

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值