sqoop错误ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for

利用sqoop将数据从hive导入mysql时报错 ······最近跟着厦门大学实验室在做大数据项目的一个案例,在利用sqoop将数据从hive导入mysql时报错,改了三天,参考了无数的案例,改到人崩溃,终于successfully!真的是我见过最好看的successfully了!记录下报的最多的一个错误,希望能帮助大家,给大家一个参考。 导入数据代码 cd /usr/local/hadoop/sqoop ./bin/sqoop export --connect jdbc:mysql://localhost:3306/dblab --username r 阅读详情
AI摘要

本文解决SQOOP导出数据至MySQL时遇到的权限错误,通过修改MySQL的用户权限设置,成功实现从Hive到MySQL的数据迁移。

  • 今日练习sqoop时,遇到如下错误
  • ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user '
  • 经过百度后发现解决办法如下
    Warning: /usr/local/sqoop/…/hcatalog does not exist! HCatalog jobs will fail.
    Please set $HCAT_HOME to the root of your HCatalog installation.
    Warning: /usr/local/sqoop/…/accumulo does not exist! Accumulo imports will fail.
    Please set $ACCUMULO_HOME to the root of your Accumulo installation.
    SLF4J: Class path contains multiple SLF4J bindings.
    SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
    SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
    SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
    18/04/08 17:13:53 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
    18/04/08 17:13:53 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
    18/04/08 17:13:53 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
    18/04/08 17:13:53 INFO tool.CodeGenTool: Beginning code generation
    Sun Apr 08 17:13:54 CST 2018 WARN: Establishing SSL connection without server’s identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn’t set. For compliance with existing applications not using SSL the verifyServerCertificate property is set to ‘false’. You need either to explicitly disable SSL by setting useSSL=false, or set useSSL=true and provide truststore for server certificate verification.
    18/04/08 17:13:54 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user ‘root’@‘localhost’ (using password: YES)
    java.sql.SQLException: Access denied for user ‘root’@‘localhost’ (using password: YES)
    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:964)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3970)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3906)
    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:873)
    at com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1710)
    at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226)
    at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2253)
    at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2284)
    at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2083)
    at com.mysql.jdbc.ConnectionImpl.(ConnectionImpl.java:806)
    at com.mysql.jdbc.JDBC4Connection.(JDBC4Connection.java:47)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
    at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
    at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:410)
    at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:328)
    at java.sql.DriverManager.getConnection(DriverManager.java:664)
    at java.sql.DriverManager.getConnection(DriverManager.java:247)
    at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:885)
    at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:52)
    at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:744)
    at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:767)
    at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:270)
    at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:241)
    at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:227)
    at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:295)
    at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1833)
    at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1645)
    at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:107)
    at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:64)
    at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:100)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:236)
    18/04/08 17:13:54 ERROR tool.ExportTool: Encountered IOException running export job: java.io.IOException: No columns to generate for ClassWriter
    在反复查阅网上上资料后,发现是自己的操作权限不够。

bin/sqoop export --connect jdbc:mysql://localhost:3306/dbtaobao --username root --password root --table user_log --export-dir ‘/user/hive/warehouse/dbtaobao.db/inner_user_log’ --fields-terminated-by ‘,’;

字段解释:

./bin/sqoop export ##表示数据从 hive 复制到 mysql 中
–connect jdbc:mysql://localhost:3306/dbtaobao
–username root #mysql登陆用户名
–password root #登录密码
–table user_log #mysql 中的表,即将被导入的表名称
–export-dir ‘/user/hive/warehouse/dbtaobao.db/user_log ‘ #hive 中被导出的文件
–fields-terminated-by ‘,’ #Hive 中被导出的文件字段的分隔符

在执行这条命令时,我用的是root用户,但是我的jdbc:mysql://localhost:3306是localhost,因此需要修改localhost的权限,

用命令service mysql start确保mysql已经启动,

进入操作界面 mysql -u root -p,按提示输入的mysql密码,

hadoop@xxx-Inspiron-5555:/usr/local/sqoop$ mysql -u root -p
Enter password:

然后执行下面命令修改远程登录权限

mysql> grant all privileges on . to root@localhost identified by ‘root’;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;

文章为转载,原文如下
Query OK, 0 rows affected (0.04 sec)

作者:ombey
来源:优快云
原文:https://blog.youkuaiyun.com/someby/article/details/79855115
版权声明:本文为博主原创文章,转载请附上博文链接!

ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user ‘ 错误原因分析三点: 复制过来密码没有修改导致没有访问权限, 其他有可能是没有开启远程权限 或者是访问路径不对。 参考 https://blog.csdn.net/weiyongle1996/article/details/76201364 阅读详情

相关推荐

银河麒麟V10 SP3离线安装Nginx1.21.5全记录(附11个rpm包下载清单)

本文详细记录了在银河麒麟V10 SP3操作系统上离线安装Nginx 1.21.5的全过程,包括11个必备rpm包的下载清单。通过分步骤的实战指南,帮助用户在国产化环境中高效部署Nginx服务,涵盖安装、配置、调优及故障排查等关键环节,特别适合金融、政务等对安全性要求高的场景。

weixin_30872337的博客 606

ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user

报错信息: ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'master' (using password: YES) java.sql.SQLException: Access denied for user 'root'@'ma...

FunORAMA的博客 5531

cs231n作业 assignment 1 q1 q2 q3

请先看课程作业地址。有两种做作业的方法,一种是在google Colab上做 (需魔法),另一种就是下载到本地,但是我懒得在本地配置环境,太麻烦了,还得修改一些基础代码,我就直接在google colab上做了google colab 配置环境只需要跟着教程走就好了最后还有一题解答题懒得做的,这个题目做的没啥意思。让我们用简单写法来实现softmax的loss函数与梯度计算。

Leezed525的博客 9277

Sqoop报警告hcatalog does not exist!...accumulo does not exist!解决方案

执行Sqoop中import命令后报错 Warning: /opt/module/sqoop/bin/../../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCatalog installation. Warning: /opt/module/sqoop...

攻城狮Kevin 1万+

AI+Xmind自动生成测试用例(思维导图格式)

最后:我是Walker,一个热爱分享编程知识的程序员,希望能够帮助到你!

Think_and_work的博客 2333

SAP SD RRB实战:从DIP参数文件到DP90/DP91开票的完整链路解析

本文详细解析了SAP SD模块中RRB(Resource-related Billing)业务场景的完整链路,从DIP参数文件配置到DP90/DP91开票操作。通过实战案例分享DIP参数文件的核心配置技巧、特性设置及物料决定要点,帮助用户掌握动态开票的关键技术,提升SAP SD RRB的实施效率。

weixin_26833939的博客 378

sqoop导入数据出错ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied

17/07/22 15:36:35 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'mini1' (using password: YES) java.sql.SQLException: Access denied for user

一路前行 1万+

Python 爬虫实战:抓取应届生求职网校招岗位信息,助力学子就业

应届生求职网作为国内知名的招聘平台,汇聚了大量企业的校招岗位信息。了解这些岗位信息,对于应届毕业生制定求职策略、企业制定招聘计划以及相关就业市场分析等都具有重要意义。因此,本文将深入探讨如何运用 Python 爬虫技术从应届生求职网平台抓取校招岗位信息,为应届毕业生提供有益的就业信息支持。本文深入探究了利用 Python 爬虫技术从应届生求职网平台抓取校招岗位信息的全流程。从前期的环境搭建、模拟登录,到核心的数据抓取、存储,再到后续的数据分析与可视化,都详细展开讲解并提供代码支持。

u014481728的博客 1301

ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user '

在使用Sqoop将数据从Hive导入MySQL过程中,出现一下错误Warning: /usr/local/sqoop/../hcatalog does not exist! HCatalog jobs will fail.Please set $HCAT_HOME to the root of your HCatalog installation.Warning: /usr/local/sqoop...

someby的博客 1万+

《谷歌数据分析方法》脑图笔记

目录壹、脑图笔记贰、《谷歌数据分析方法》脑图文稿[^1]一、 反思数据分析二、选择数据分析工具的最佳策略第一步:选择数据分析工具前要回答的3个关键问题第二步:选择数据分析工具前要问供应商的10个问题第三步:如何有效地试用数据分析工具第四步:确定合作前的协议,检查供应商的服务条款三、点击流分析的精彩世界:指标8个关键网站指标数据分析指标揭秘关键网站指标的战略性策略四、成功的关键:衡量绩效关注“少数关键指标”衡量非电子商务网站的成功衡量B2B网站五、调研和测试永不过时的3个最佳调研问题选择线上调研供应商的8个建

积跬步,慕至千里的博客 2928

C++和OpenGL实现3D游戏编程【连载6】——不规则图形的纹理贴图(附源码)

上一节我们讨论了纹理贴图的相关基础操作,但上一节的纹理贴图操作基本上都是规则图形,包括圆形和球形虽然复杂一点,但是它也是规则的。这一节课我们要讨论一下,怎么在不规则图形上纹理贴图,就比如文章下图的心形纹理贴图,以及纹理的平移、旋转、放大缩小功能。

zhooyu的博客 1308

Sqoop文件模式提供数据库密码运行报错java.sql.SQLException: Access denied for user ‘hive‘@‘IP‘

通过文件模式为Sqoop在Job执行数据同步的过程中报错 21/11/17 23:24:08 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'hive'@'IP' (using password: YES) java.sql.SQLException: Access denied for user 'hive'@'IP' (using password:

wufabao的博客 8805

Skill的嵌套

Skill的嵌套就很简单,直接引用其他的Skill就好了。在一个 Skill 的 SKILL.md 中,可以明确指示 Claude 去读取另一个 Skill 的文档。

Criss@陈磊 961

MySQL表数据导入HDFS报错(授权),同步时间设置

sqoop import \ --connect jdbc:mysql://hadoop01:3306/userdb \ --username root \ --password 123123 \ --target-dir /sqoopresult \ --table emp \ --num-mappers 1 在Hadoop集群下进行sqoop数据迁移,将MySQL表数据导入HDFS中具体指令如上 然后报如下错误: ERROR manager.SqlManager: Error executing.

weixin_47794139的博客 810

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

sqoop报错 ERROR manager.SqlManager: Error executing statement: java.sql.SQLSyntaxErro

1.现象 sqoop导入oracle的数据报错 20/06/22 09:27:11 ERROR manager.SqlManager: Error executing statement: java.sql.SQLSyntaxErrorException: ORA-00936: missing expression java.sql.SQLSyntaxErrorException: ORA-00936: missing expression 2.原因 检查导入的sql错误 select * from e

summer089089的博客 2479

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Sqoop ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: ORA-01005

SQOOP 在导入数据时出错,问题的原因是由于密码中有特殊的字符导致

weixin_43159039的博客 2081

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

sqoop将hive里的表导入mysql

sqoop 导出hive数据到mysql   执行命令 bin/sqoop export --connect jdbc:mysql://slaver3:3306/ishangzu --username root --password root --table dw_pv_uv_ip --export-dir /user/hive/warehouse/t_20161019.db/dw_pv_u...

大黄_sama 306

Sqoop吐血BUG整理(四)

如果出现以下BUG: 19/09/17 08:42:23 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: nu...

RivenDong 1252

sqoop连接MySQL失败

ERROR manager.CatalogQueryManager: Failed to list databases com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

aj_shang的博客 4886

sqoop怎么主动关闭mysql_sqoop job操作及执行Job时如何省略输入MySQL保存密码

arning: /app/sqoop-1.4.6-cdh5.7.0/../hbase does not exist! HBase imports will fail.Please set $HBASE_HOME to the root of your HBase installation.Warning: /app/sqoop-1.4.6-cdh5.7.0/../hcatalog does not...

weixin_40003451的博客 353

sqoop连接MYSQL报错处理

Sqoop远程连接MYSQL数据库报/apache/commons/lang/StringUtils错误

泊涯 1687

sqoop数据导入mysql失败的解决方法

当你每次执行失败后,其实在/tmp/sqoop-你的用户名/compile(或者是/tmp/sqoop/compile,可以找找看)文件夹下有许多临时文件夹,文件夹名称为一大串字符,每个文件夹内有对应表名生成的.jar包、.java和.class文件。--export-dir '/user/hive/warehouse/dbtaobao.db/inner_user_log ' #hive 中被导出的文件。--fields-terminated-by ',' #Hive 中被导出的文件字段的分隔符。

weixin_68076101的博客 779

sqoop详解-导入导出

从mysql 导入到 hadoop 文件: http://ftp.wayne.edu/apache/sqoop/ -- sqoop下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 大家下的时候注意自己的版本!!(注意不要下sqoop2,不是给我们这类需求使用的。) (一定一定要选择 bin__hadoop 版本,否则也可能报错java.lang.NoClassDefFoundError: org/apache/avro/.

上帝之手&传奇 - MartinLee 1830

sqoop经常出现的几个问题

sqoop经常出现的几个问题 No columns to generate for ClassWriter Access denied for user 'root'@'mini1' (using password: YES) unknownhostException

javaMylife的博客 1624

【大数据存储技术】「#3」将数据从Hive导入到MySQL

【代码】【大数据存储技术】「#3」将数据从Hive导入到MySQL。

Lenhart001的博客 3550
上一篇: sqoop实战练习
下一篇: sqoop常用命令
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值