sqoop jdk1.7不兼容问题

最新推荐文章于 2024-04-20 21:51:26 发布
原创 最新推荐文章于 2024-04-20 21:51:26 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在使用SQOOP从测试库切换到正式库时遇到兼容性问题，具体表现为使用不同版本的JDK导致程序无法正常运行。测试库使用的是JDK1.6，而正式库则使用JDK1.7。由于SQOOP版本为1.4.4，可能是编译环境与实际运行环境的JDK版本不一致所引起的。最终决定采用直接文件传输的方式替代。
sqoop测试库上测试的很好，一切正常，切到正式库上运行报错：
sqoop jdk1.7不兼容问题 - scjthree - 亚存的博客
 
查了下说是jdk兼容问题。测试库用的是jdk1.6，正式库是jdk1.7。用的是sqoop1.4.4，估计它还是在1.6的环境下编译的，jdk1.7的环境下它就不认了。
看来还是用文件直接传输吧，工具真是不靠谱
Linux虚拟机安装jdk、配置MAC地址、关闭防火墙（一）
rqp123456的博客
01-15 534
1.工具版本 虚拟机软件：VMware12版本以上 客户端软件：SecureCRT8.5 、或FinalShell、或Xshell5和Xftp5混合使用 服务器：CentOS6.8英文、基础服务版 软件版本：hadopp-2.7.2 （2.6版本上都行） zookeeper-3.4.10 hive-1.2.1 hbase-1.3.1 kafka-0.11 flume-1.7 sqoop-1.4.6 phoenix-4.14.3 ElasticSearch: 2.4.1 Logstash: 2.4.0 Kib
ZK/Flume/DataX/MaxWell/DS/JSE知识点复习
zfxhz的博客
04-19 1453
多线程是指程序中包含多个执行流，即一个程序中可以同时运行多个不同的线程来执行不同的任务。优点：可以提高cpu的利用率。多线程中，一个线程必须等待的时候，cpu可以运行其它的线程而不是等待，这样大大提高了程序的效率。线程安全是指在多线程环境下，当多个线程同时访问某个共享资源时，能够确保该资源的操作不会导致数据的不一致或损坏，并且能够正确地处理并发访问的情况。竞态条件：多个线程同时访问共享资源，导致结果的不确定性或错误的执行顺序。数据竞争：多个线程同时读写共享的可变数据，可能会导致数据的不一致性或损坏。
sqoop 导入数据的时候出现Unsupported major.minor version 52.0的问题描述
xiao_jun_0820的专栏
02-22 5468
出现该问题是由于cloudera manager和系统的jdk版本不一致导致的，更具体点是cm使用的是低版本的jdk（我的是1.7）,而操作系统通过java -version出来的版本是高版本的jdk(我的是1.8),由于sqoop会自动生成代码并编译程jar然后提交给map-reduce执行，所以shell命令行执行sqoop编译出来的job jar是1.8编译的，而我的cm5.3.0安装的时候
sqoop
Helpless_pain的博客
04-18 2028
sqoop框架(工具)简介     ** RDBMS   HDFS、HIVE、HBASE     ** 原先数据库集群已有的数据 --> HDFS --> 分析     ** Hive分析结果 -->  RDBMS(mysql) --> 报表展示          ** sqoop.apache.org         ** apache版本         ** CDH版本
sqoop 1.4 java_似乎您正在使用JRE运行sqoop-但JAVA_HOME设置为JDK
weixin_42298093的博客
02-16 626
我试图在Ubuntu上设置sqoop(sqoop-1.4.3.bin__hadoop-1.0.0)。我可以运行基本的sqoop帮助等，而不会出现问题。当我运行以下命令时，我得到一个错误：sqoop import --connect jdbc:mysql://localhost/test --table sales -m 113/04/19 10:35:24 INFO orm.Compilation...
sqoop(1):安装和配置
小蚯蚓的博客
11-10 825
一、功能 在大数据处理之后，需要数据展示，所以，要把相对较少的数据存储到关系型数据库中，然后做一套框架给外部查询展示。sqoop的作用就是把数据从hdfs或者hive中导出到mysql等关系型数据库 二、sqoop部署 1.解压 tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/modules/ 2.重命名sqoop-env...
sqoop1.4.6的安装和配置
ivan的专栏
01-24 827
一、环境与软件 操作系统：Red Hat 4.8.3-9 Apache hadoop： 2.7.2 Apache Zookeeper：3.4.9 Apache Sqoop： 1.4.6 mysql JDBC：5.1.4 1、登录 linux 81，拥有root权限 2、cd /opt 3、下载sqoop 的包   wget   4、tar -z
一次Ambari安装记录
最新发布
晓郎编程
04-20 1317
Ambari是一个开源的Apache项目，它提供了一个直观易用的Web界面，用于管理、监控和配置Apache Hadoop集群。它是一个集群管理工具，可以帮助管理员轻松地部署、管理和监控Hadoop集群的各种组件，如HDFS、YARN、MapReduce、Hive、HBase等。通过Ambari，用户可以在集群中添加或移除节点，监控集群健康状况，执行配置更改，以及查看各种性能指标和日志。Ambari的用户界面直观友好，使得对Hadoop集群的管理变得更加简单和高效。
大数据各组件安装（数据中台搭建）
小强签名设计 的博客
04-02 8832
文章目录一、基础环境配置（三台机器都操作）1.修改主机名：2.关闭防火墙：3.关闭Selinux：4.文件描述符配置：5.自定义JDK安装：5.1 删除默认openJDK：5.2 安装jdk1.8.0_91：6.创建Hadoop用户：7.配置SSH免密登录：二、大数据组件安装1.安装Zookeeper：2.安装Hadoop：3.安装Hbase：4.安装Hive：4.1 安装MySQL：4.2 部署Hive：5.安装kafka：6.安装Solr：7.安装Atlas：7.1 集成 Hbase：7.2 集成 So
0593-CDH5与CDH6对比
Hadoop_SC的博客
11-08 3935
1 文档编写目的 Cloudera于2018年8月30日正式发布CDH6.0.0，至2019年2月19日，最新的迭代版本为CDH6.1.1，可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本，许多用户考虑到未来CDH的版本主要是基于C6，而CDH5会慢慢的停止更新，所以考虑新搭集群使用CDH6，或者想把已有的CDH5集群升级到CDH6。第一个问题就...
【达梦数据库】sqoop配置达梦
qq_33965675的博客
03-01 3455
sqoop 配置达梦 由于我的hadoop集群的虚拟机hadoop01，hadoop02，hadoop03中 hadoop03虚机丢失，因此采用克隆出的hadoop05制作单节点环境进行测试 前言 由于 hadoop5是克隆出的节点，因此需要将原有的环境进行备份操作 #hadoop05上配置文件的路径为 /home/hadoop01/hadoop/apps/hadoop-2.7.6/etc #将其中的hadoop 目录进行拷贝复制 [hadoop01@hadoop05 etc]$ ls hadoop ha
Sqoop教程(一) Sqoop数据迁移工具
热门推荐
yuan_xw的专栏
06-01 1万+
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。
sqoop的java操作，总结归纳，含代码
u011856283的博客
06-14 1万+
（下面说的操作hdfs其实和操作hive意思一样，都是文件夹）最近要在项目中加一个sqoop的功能，需求是将hive的数据导入至mysql，也就是export功能由于之前没用过sqoop，所以特地去学习怎么使用，这里总结下这两天了解到的简单内容首先sqoop有两个版本，1.4.X和1.99.X，前者俗称为sqoop1后者成为sqoop2，然后又有apache和cloudera两种sqoop1和sq...
Sqoop的安装和配置
weixin_67893879的博客
11-29 2201
安装 sqoop 的前提是已经具备 java 和 hadoop 的环境。
sqoop mysql 安装_Sqoop安装
weixin_29866423的博客
02-04 231
由于Sqoop是Hadoop的一个子项目，它只能工作在Linux操作系统。这里需要按照下面系统上给定安装Sqoop的步骤。第1步：验证JAVA安装在安装Sqoop之前，需要确定是否已经在系统上安装Java。用下面的命令来验证Java安装：$ java–version如果Java已经安装在系统上，应该能看到如下回应：java version"1.7.0_71"Java(TM)SERuntimeEnv...
as 修改jre路径_看起来好像您正在运行带有JRE的sqoop - 但将JAVA_HOME设置为JDK
weixin_42336364的博客
12-23 470
I tried to set up sqoop (sqoop-1.4.3.bin__hadoop-1.0.0) on Ubuntu. I can run the basic sqoop help etc without problems. When I run the following I get an error:sqoop import --connect jdbc:mysql://loca...
Java操作Sqoop对象
Life is for sharing的博客
12-08 1万+
1.配置pom.xml文件 2.Windows下配置Sqoop的环境变量 3.检查是否配置成功 4.Java操作Sqoop对象 4.1将MySQL数据导入到HDFS Windows下使用Eclipse工具操作Sqoop1.4.6对象 Sqoop是用来在关系型数据库与Hadoop之间进行数据的导入导出，Windows下使用Eclipse工具操作时，需要先搭建好Hadoop的开发环...
SQOOP之——安装部署笔记
冰河的专栏
06-06 9123
sqoop是一个把关系型数据库数据抽向hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。由于，本人部署的hadoop版本是2.2.0，所以sqoop的版本是：sqoop-1.99.3-bin-hadoop200 1、下载sqoop wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.
Sqoop导入Hive数据不一致问题分析与解决方案
这些问题的根本原因涉及多个层面，包括 Sqoop 配置参数设置不当、Hive 表结构定义不匹配、文件格式兼容性问题、字符编码差异以及并发任务执行过程中的数据截断等。 首先，从 **Sqoop 的工作机制** 来看，其导入操作...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值