Sqoop抽取Phoenix数据中遇到的问题

最新推荐文章于 2021-04-10 03:12:50 发布
原创 最新推荐文章于 2021-04-10 03:12:50 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Sqoop #Hbase

本文解决SQOOP运行时出现的java.lang.NullPointerException异常，通过添加缺失的java-json.jar包来修复。同时，针对HBase中因disruptor版本不匹配导致的错误，提供了更换为disruptor-3.3.8.jar的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、running sqoop:java.lang.NullpointerException

解决方法：

缺少java-json.jar的jar包，下载jar包，并将其放在hbase/lib 和sqoop/lib的文件夹下.

下载链接：https://download.youkuaiyun.com/download/cherish_dwj/10729279

2、Error: java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor.<init>(Lcom/lmax/disruptor/EventFactory;ILjava/util/concurrent/ThreadFactory;Lcom/lmax/disruptor/dsl/ProducerType;Lcom/lmax/disruptor/WaitStrategy;)V

原因：Hbase中依赖的是disruptor-3.3.0.jar的jar包,在com.lmax.disruptor 3.3.0 包中找不到com.lmax.disruptor.dsl.Disruptor类.

解决方法：

将jar包换成disruptor-3.3.8.jar放到$SQOOP_HOME/lib下即可。

下载链接：https://download.youkuaiyun.com/download/cherish_dwj/10728864

 

 

 

大数据治理域——离线数据开发
庄小焱
06-11 316
文本主要介绍了离线数据开发相关内容，包括业务与流程、阿里MaxCompute系统设计以及阿里调度系统设计。离线数据开发是大数据开发核心组成部分，用于处理批量数据，支持企业多种需求，其流程涵盖需求调研、数据源接入等环节。阿里MaxCompute系统架构与特点被阐述，调度系统背景及核心设计模型也进行了说明。
【大数据采集技术与应用】【第一章】【大数据采集技术与应用概述】
AXDLMG7的优快云~
06-30 6165
IBM前首席执行官郭士纳的观点，IT领域每隔15年就会迎来一次重大变革。这里我仿照格式写一下我认为的第四次浪潮：信息科技需要解决信息存储、信息传输和信息处理三个核心问题：（1）存储设备容量不断增加 （2）CPU处理能力大幅提升 （3）网络带宽不断增加Wikipedia：大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数据. 麦肯锡咨询公司：大数据是指大小超出了常规数据库软件的采集、存储、管理和分析能力的数据集。相比于传统处理小数据，大数据具有五个方面的特征：容量大（Volume
Sqoop通过Phoenix导hbase数据到hive
11-06
出现此问题时使用：java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:784) at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:392) at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:378) at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:256) at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:748) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Sqoop抽取Phoenix数据
cherish_dwj的博客
10-18 1451
使用场景：主要想实现抽取hbase数据到hive中，Sqoop不支持对hbase的直接抽取，但是我们可以通过Phoenix映射hbase表实现。 安装好phoenix后对于HBase中已经存在的数据表不会自动进行映射，所以想要再phoenix中操作HBase已有数据表就需要手动进行配置。查看phoenix的版本，如果版本是4.10之前的，映射关系是根据列来映射的，phoenix可以通过creat...
sqoop 从 phoenix、mysql 导数据到hdfs、hive 时碰到的一些问题
weixin_43038063的博客
06-17 731
[root@node1 usr]# bin/sqoop import --connect 'jdbc:mysql://172.16.0.13:16045/active_user_stats?useUnicode=true&characterEncoding=utf-8&useSSL=FALSE&serverTimezone=GMT%2B8&convertToNull=CONVERT_TO_NULL&allowMultiQueries=true' --userna...
NoSQL数据库Hbase之Phoenix与Sqoop
fcclzydouble的博客
04-07 355
目录 Phoenix 简介和优势 功能特性 搭建与部署 shell操作Phoenix java使用jdbc调用phoenix 使用springboot+mybatis方式来调用phoenix 代码仓库 Sqoop 简介 Sqoop Import Sqoop Export 搭建部署 版本问题 部署 下载mysql jar 操作mysql数据库 将mysql数据导入HDFS Phoenix 无论nosql再牛逼，如果不落地到sql，那么就很难适应大众，毕竟sql上手简单，
sqoop查询oracle数据报表不存在,一个关于sqoop job 找不到oracle驱动的问题
weixin_30697437的博客
04-03 403
Warning: /opt/cloudera/parcels/CDH-5.3.2-1.cdh5.3.2.p0.10/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.Please set $ACCUMULO_HOME to the root of your Accumulo installation.16...
sqoop从oracle到hive,sqoop从oracle数据库抽取数据,导入到hive
weixin_32503531的博客
04-10 1421
环境:hadoop-2.7.5sqoop-1.4.7zookeeper-3.4.10hive-2.3.3 (使用mysql配置元数据库)jdk1.8.0_151oracle 11.2.0.3.0经过一番baidu,总算初步成功,现在记录一下中间过程.1.拷贝hive/conf/hive_site.xml到sqoop/conf目录2.配置sqoop-evn.sh,将变量设置为对应的目录.export...
Hbase与Hive、Sqoop、Phoenix的集成
weixin_43520450的博客
04-29 623
一、与Hive的集成 1.1 HBase与Hive的对比 1.2 HBase与Hive集成使用 （1）环境准备 因为后续可能会在操作Hive的同时对HBase也会产生影响，所以Hive需要持有操作HBase的Jar，那么接下来拷贝Hive所依赖的Jar包（或者使用软连接的形式）。记得还要把zookeeper的jar包考入到hive的lib目录下。 #配置环境变量 vi /etc/p...
sqoop-from_phoenix-all.sh
08-06
sqoop从phoenix抽取数据到hdfs sqoop import \ --driver org.apache.phoenix.jdbc.PhoenixDriver \ --connect jdbc:phoenix:192.168.111.45:2181 \ --query "select cs_mine_code, cs_data_time,ss_station_code,ss_...
disruptor案例加简单说明
12-02
简单讲解disruptor并附上demo
Sqoop同步数据命令
01-07
Sqoop介绍 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以使用Sqoop将数据从MySQL或Oracle等关系数据库管理系统（RDBMS）导入Hadoop分布式文件系统（HDFS），在Hadoop MapReduce中转换数据，然后将数据导出回RDBMS，在不使用ETL工具情况下使用sqoop是迁移数据的一个方案。 官方文档：http://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html sqoop的数据导入 语法：sqoop import (generic-args) (import-args) 常用参数 -co
记一次报错
qq_36561105的博客
04-29 508
java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor.<init>(Lcom/lmax/disruptor/EventFactory;ILjava/util/concurrent/ThreadFactory;Lcom/lmax/disruptor/dsl/ProducerType;Lcom/lmax/disrupt...
Hive 3 提示：java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor.「init」
zhouzhiwengang的专栏
07-06 862
Windows3 Hive 启动Hive客户端，提示如下错误信息： java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor.<init>(Lcom/lmax/disruptor/EventFactory;ILjava/util/concurrent/ThreadFactory;Lcom/lmax/disruptor/dsl/ProducerType;Lcom/lmax/disruptor/WaitStrategy;)V 造
hive Sqoop导出报错
qq_38655890的博客
06-22 943
hive Sqoop导出报错（hive->Oracle） 报错提示 Sqoop从Hive导出数据到Oracle数据库，遇到个问题，查了很久才解决（粗心了），报错： 20/02/10 16:33:53 INFO mapreduce.ExportJobBase: Exported 0 records. 20/02/10 16:33:53 ERROR tool.ExportTool: Error during export: Export job failed! at org.apache.sqoop.ma
Log4j2 - java.lang.NoSuchMethodError: com.lmax.disruptor.dsl.Disruptor
weixin_30835649的博客
01-02 973
问题 项目使用了log4j2，由于使用了全局异步打印日志的方式，还需要引入disruptor的依赖，最后使用的log4j2和disruptor的版本依赖如下： <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core<...
解决sqoop中出现的某些问题
一昕之代码专栏
08-24 3030
安装sqoop出现的问题我本人用导sqoop去导入mysql数据并存到hdfs上，标题 ##安装过程中： 使用这篇博客来进行安装， http://www.linuxidc.com/Linux/2016-09/135129.htm出现如下问题 1.报错各种set问题，说缺少设置一些东西，例如： 解决方法也很简单 把sqoop/bin/configure-sqoop里面的如下两段内容注释
sqoop如何抽取数据
05-10
Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具，它可以将关系型数据库中的数据自动导入到Hadoop中，也可以将Hadoop...以上是Sqoop抽取数据的基本步骤，具体执行过程中还需要根据具体的情况进行调整和优化。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值