sqoop错误ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for

利用sqoop将数据从hive导入mysql时报错 ······最近跟着厦门大学实验室在做大数据项目的一个案例,在利用sqoop将数据从hive导入mysql时报错,改了三天,参考了无数的案例,改到人崩溃,终于successfully!真的是我见过最好看的successfully了!记录下报的最多的一个错误,希望能帮助大家,给大家一个参考。 导入数据代码 cd /usr/local/hadoop/sqoop ./bin/sqoop export --connect jdbc:mysql://localhost:3306/dblab --username r 阅读详情
AI摘要

本文解决SQOOP导出数据至MySQL时遇到的权限错误,通过修改MySQL的用户权限设置,成功实现从Hive到MySQL的数据迁移。

  • 今日练习sqoop时,遇到如下错误
  • ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user '
  • 经过百度后发现解决办法如下
    Warning: /usr/local/sqoop/…/hcatalog does not exist! HCatalog jobs will fail.
    Please set $HCAT_HOME to the root of your HCatalog installation.
    Warning: /usr/local/sqoop/…/accumulo does not exist! Accumulo imports will fail.
    Please set $ACCUMULO_HOME to the root of your Accumulo installation.
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
    18/04/08 17:13:53 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
    18/04/08 17:13:53 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
    18/04/08 17:13:53 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
    18/04/08 17:13:53 INFO tool.CodeGenTool: Beginning code generation
    Sun Apr 08 17:13:54 CST 2018 WARN: Establishing SSL connection without server’s identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn’t set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to ‘false’. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
    18/04/08 17:13:54 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user ‘root’@‘localhost’ (using password: YES)
    java.sql.SQLException: Access denied for user ‘root’@‘localhost’ (using password: YES)
    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:964)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3970)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3906)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:873)
    at com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1710)
    at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226)
    at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2253)
    at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2284)
    at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2083)
    at com.mysql.jdbc.ConnectionImpl.(ConnectionImpl.java:806)
    at com.mysql.jdbc.JDBC4Connection.(JDBC4Connection.java:47)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
    at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:410)
    at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:328)
    at java.sql.DriverManager.getConnection(DriverManager.java:664)
    at java.sql.DriverManager.getConnection(DriverManager.java:247)
    at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:885)
    at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:52)
    at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:744)
    at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:767)
    at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:270)
    at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:241)
    at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:227)
    at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:295)
    at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1833)
    at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1645)
    at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:107)
    at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:64)
    at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:100)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
    18/04/08 17:13:54 ERROR tool.ExportTool: Encountered IOException running export job: java.io.IOException: No columns to generate for ClassWriter
    在反复查阅网上上资料后,发现是自己的操作权限不够。

bin/sqoop export --connect jdbc:mysql://localhost:3306/dbtaobao --username root --password root --table user_log --export-dir ‘/user/hive/warehouse/dbtaobao.db/inner_user_log’ --fields-terminated-by ‘,’;

字段解释:

./bin/sqoop export ##表示数据从 hive 复制到 mysql 中
–connect jdbc:mysql://localhost:3306/dbtaobao
–username root #mysql登陆用户名
–password root #登录密码
–table user_log #mysql 中的表,即将被导入的表名称
–export-dir ‘/user/hive/warehouse/dbtaobao.db/user_log ‘ #hive 中被导出的文件
–fields-terminated-by ‘,’ #Hive 中被导出的文件字段的分隔符

在执行这条命令时,我用的是root用户,但是我的jdbc:mysql://localhost:3306是localhost,因此需要修改localhost的权限,

用命令service mysql start确保mysql已经启动,

进入操作界面 mysql -u root -p,按提示输入的mysql密码,

hadoop@xxx-Inspiron-5555:/usr/local/sqoop$ mysql -u root -p
Enter password:

然后执行下面命令修改远程登录权限

mysql> grant all privileges on . to root@localhost identified by ‘root’;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;

文章为转载,原文如下
Query OK, 0 rows affected (0.04 sec)

作者:ombey
来源:优快云
原文:https://blog.youkuaiyun.com/someby/article/details/79855115
版权声明:本文为博主原创文章,转载请附上博文链接!

ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user ‘ 错误原因分析三点: 复制过来密码没有修改导致没有访问权限, 其他有可能是没有开启远程权限 或者是访问路径不对。 参考 https://blog.csdn.net/weiyongle1996/article/details/76201364 阅读详情

相关推荐

2025-E题国一-简易自行瞄准装置:基于嘉立创地猛星/天猛星与K230的视觉巡线云台系统设计

本文详细介绍了2025年全国大学生电子设计竞赛E题一等奖作品——基于嘉立创地猛星/天猛星与K230的视觉巡线云台系统设计。该系统通过地猛星主控实现小车巡线,天猛星主控驱动云台,结合K230开发板的视觉识别能力,构建了一套完整的视觉巡线云台系统,实现了自动巡线与精准瞄准功能。文章深入剖析了硬件选型、双闭环PID控制算法、视觉识别与目标跟踪等核心技术,并分享了系统调试与避坑经验。

weixin_42596011的博客 675

ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user

报错信息: ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'master' (using password: YES) java.sql.SQLException: Access denied for user 'root'@'ma...

FunORAMA的博客 5531

叶绿体基因组提交NCBI全流程避坑指南

叶绿体基因组作为环状细胞器DNA,其数据提交并非简单上传,而是需严格遵循INSDC标准的学术出版行为。其核心原理在于元数据完整性、拓扑结构语义一致性与分类学路径精确匹配;技术价值体现在保障序列可追溯、可复现、可互操作;典型应用场景涵盖植物系统发育、条形码开发及合成生物学底盘构建。实践中,FASTA头行格式、feature table嵌套规则、taxid绑定及BankIt静默校验等环节极易引发失败。本文聚焦NCBI|叶绿体基因组数据上传中的高频报错与隐性约束,提供面向生物信息工程师的实操级规范解析。

weixin_31960565的博客 328

Sqoop报警告hcatalog does not exist!...accumulo does not exist!解决方案

执行Sqoop中import命令后报错 Warning: /opt/module/sqoop/bin/../../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop...

攻城狮Kevin 1万+

Linux音频调试实战:ALSA架构与tinymix工具的高级应用技巧

本文深入探讨了Linux音频调试的核心技术,重点解析了ALSA架构下音频信号的路由与混合机制。通过介绍轻量级命令行工具tinymix的高级应用技巧,指导开发者如何精准排查无声、音量异常、多路音频共存等复杂问题,并分享编写自动化测试脚本以提升嵌入式及智能设备音频开发效率的实战方法。

weixin_29210727的博客 101

ESP32设备驱动-MLX90393磁场传感器驱动

MLX90393 磁场传感器可以在运行时重新编程为不同的模式和不同的设置。 该传感器使用 Melexis 专有的 Triaxis® 技术提供与沿 XYZ 轴感应的磁通密度成比例的 16 位输出,还提供温度输出信号。 这些数字值可通过 I2C 和 SPI 获得,其中 MLX90393 是总线上的从设备。

视觉与物联智能 2354

sqoop导入数据出错ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied

17/07/22 15:36:35 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'mini1' (using password: YES) java.sql.SQLException: Access denied for user

一路前行 1万+

【Unity优化篇】| Unity3D场景 常用优化策略,遮挡剔除、层消隐距离技术 和 LOD多层次细节

本篇文章来简单介绍一下 Unity中几种常用3D场景优化策略 方法 对于整个项目来说,本文中出现的方法也只是冰山一角,慢慢积累学习吧! 内容包括遮挡剔除(Occlusion Culling)、层消隐距离技术 和 LOD多层次细节

努力前行,总会成为自己心中的那道光 1万+

ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user '

在使用Sqoop将数据从Hive导入MySQL过程中,出现一下错误Warning: /usr/local/sqoop/../hcatalog does not exist! HCatalog jobs will fail.Please set $HCAT_HOME to the root of your HCatalog installation.Warning: /usr/local/sqoop...

someby的博客 1万+

深度解析:Android开发工程师(嵌入式系统方向)职位 - 技术需求、面试准备与发展路径

本文深入分析了嵌入式Android开发工程师的岗位要求和技术内涵。该职位需要掌握C/C++、Linux系统编程、硬件接口等核心技术,能够进行Android系统底层定制开发,包括HAL层实现、Framework修改、性能优化等工作。文章详细解读了岗位职责,梳理了必备技术栈,提供了针对性的面试问题与参考答案,并探讨了职业发展路径。这类岗位要求开发者兼具软件工程能力和硬件基础知识,适合在智能电视、机顶盒、车载系统等嵌入式领域发展的技术人员。

郑伟强dev的专栏 135

RT-Thread必考面试题及参考答案

RT-Thread的设备驱动模型遵循层次化的结构,设计简洁且易于扩展。它主要由设备注册、设备操作和设备控制三部分组成。设备驱动模型允许开发者为不同的硬件设备编写驱动程序,这些驱动程序可以被RT-Thread内核统一管理和调度。在RT-Thread中,设备被抽象成一系列标准的接口,包括打开、关闭、读取、写入、控制等操作,这些操作封装在结构体中。设备驱动程序需要实现这些接口,然后通过调用函数注册设备,使其对系统可见。这种模型不仅简化了驱动开发,还提高了代码的可移植性和可维护性。

大模型大数据攻城狮的专栏 1824

Sqoop文件模式提供数据库密码运行报错java.sql.SQLException: Access denied for user ‘hive‘@‘IP‘

通过文件模式为Sqoop在Job执行数据同步的过程中报错 21/11/17 23:24:08 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'hive'@'IP' (using password: YES) java.sql.SQLException: Access denied for user 'hive'@'IP' (using password:

wufabao的博客 8805

LangChain与LangGraph核心区别解析

LangChain与LangGraph是当前大语言模型(LLM)应用开发中两个紧密相关且极具影响力的开源框架。它们源于LangChain AI公司,设计哲学互补,旨在解决不同维度的LLM工程化问题,共同构成了构建复杂智能应用的强大工具集。

weixin_35774598的博客 1926

MySQL表数据导入HDFS报错(授权),同步时间设置

sqoop import \ --connect jdbc:mysql://hadoop01:3306/userdb \ --username root \ --password 123123 \ --target-dir /sqoopresult \ --table emp \ --num-mappers 1 在Hadoop集群下进行sqoop数据迁移,将MySQL表数据导入HDFS中具体指令如上 然后报如下错误: ERROR manager.SqlManager: Error executing.

weixin_47794139的博客 810

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

sqoop报错 ERROR manager.SqlManager: Error executing statement: java.sql.SQLSyntaxErro

1.现象 sqoop导入oracle的数据报错 20/06/22 09:27:11 ERROR manager.SqlManager: Error executing statement: java.sql.SQLSyntaxErrorException: ORA-00936: missing expression java.sql.SQLSyntaxErrorException: ORA-00936: missing expression 2.原因 检查导入的sql错误 select * from e

summer089089的博客 2479

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Sqoop ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: ORA-01005

SQOOP 在导入数据时出错,问题的原因是由于密码中有特殊的字符导致

weixin_43159039的博客 2081

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

sqoop将hive里的表导入mysql

sqoop 导出hive数据到mysql   执行命令 bin/sqoop export --connect jdbc:mysql://slaver3:3306/ishangzu --username root --password root --table dw_pv_uv_ip --export-dir /user/hive/warehouse/t_20161019.db/dw_pv_u...

大黄_sama 306

Sqoop吐血BUG整理(四)

如果出现以下BUG: 19/09/17 08:42:23 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: nu...

RivenDong 1252

sqoop连接MySQL失败

ERROR manager.CatalogQueryManager: Failed to list databases com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

aj_shang的博客 4886

sqoop怎么主动关闭mysql_sqoop job操作及执行Job时如何省略输入MySQL保存密码

arning: /app/sqoop-1.4.6-cdh5.7.0/../hbase does not exist! HBase imports will fail.Please set $HBASE_HOME to the root of your HBase installation.Warning: /app/sqoop-1.4.6-cdh5.7.0/../hcatalog does not...

weixin_40003451的博客 353

sqoop连接MYSQL报错处理

Sqoop远程连接MYSQL数据库报/apache/commons/lang/StringUtils错误

泊涯 1687

sqoop数据导入mysql失败的解决方法

当你每次执行失败后,其实在/tmp/sqoop-你的用户名/compile(或者是/tmp/sqoop/compile,可以找找看)文件夹下有许多临时文件夹,文件夹名称为一大串字符,每个文件夹内有对应表名生成的.jar包、.java和.class文件。--export-dir '/user/hive/warehouse/dbtaobao.db/inner_user_log ' #hive 中被导出的文件。--fields-terminated-by ',' #Hive 中被导出的文件字段的分隔符。

weixin_68076101的博客 779

sqoop详解-导入导出

从mysql 导入到 hadoop 文件: http://ftp.wayne.edu/apache/sqoop/ -- sqoop下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 大家下的时候注意自己的版本!!(注意不要下sqoop2,不是给我们这类需求使用的。) (一定一定要选择 bin__hadoop 版本,否则也可能报错java.lang.NoClassDefFoundError: org/apache/avro/.

上帝之手&传奇 - MartinLee 1830

sqoop经常出现的几个问题

sqoop经常出现的几个问题 No columns to generate for ClassWriter Access denied for user 'root'@'mini1' (using password: YES) unknownhostException

javaMylife的博客 1624

【大数据存储技术】「#3」将数据从Hive导入到MySQL

【代码】【大数据存储技术】「#3」将数据从Hive导入到MySQL。

Lenhart001的博客 3550
上一篇: sqoop实战练习
下一篇: sqoop常用命令
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值