CDH6之Sqoop添加数据库驱动

Sqoop【快速使用篇】:Sqoop安装部署以及快速使用【从MySQL导入HDFS、从HDFS导出MySQL】 阅读详情

场景

  • CDH6.3.2装好后,默认有Sqoop,而且环境变量都配好了

  • 因为当初装CDH时把mysql-connector-java.jar放到/usr/share/java/,所以Sqoop默认就能连上MySQL

  • 数据中台不只对接MySQL,还有其它数据源,不一定能直连,需要配置对应的数据库连接器

添加数据库驱动

cd /opt/cloudera/parcels/CDH/lib/sqoop/lib

把数据库连接器放到这,下面以SAP / HANA为例
1、下载驱动,我是借助DBeaver来下载的
2、找到驱动,并上传

  • 因为Sqoop支持直连MySQL,所以连MySQL时不需要配置--driver
    而某些数据库不能直连,连SAP / HANA时还要加上--driver com.sap.db.jdbc.Driver

补充

  • /opt/cloudera/parcels/CDH是软链,实际是CDH-6.3.2-1.cdh6.3.2.p0.1605554

  • /usr/bin/sqoop是软链
    实际是/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/bin/sqoop
    其中内容如下:

    实际执行/opt/cloudera/parcels/CDH/lib/sqoop/里的bin/sqoop

游戏开发实战:如何在Unity中实现六边形网格地图(附完整代码) 本文详细介绍了在Unity中实现六边形网格地图的完整开发流程,从数学原理到实战代码。涵盖三种主流坐标系转换方法、距离计算算法对比、网格生成与渲染技巧,以及高级功能如网格高亮、寻路算法和性能优化策略。适合策略游戏、战棋类游戏开发者提升地图系统开发效率。 阅读详情

相关推荐

20 CVPR Learning 3D Semantic Scene Graphs From 3D Indoor Reconstructions 学习笔记

3RScan是大规模真实世界的室内场景,特点是对478个自然改变的室内环境在不同的时间帧进行了1482 RGB-D scans,每一个scene都包括了一些位置被改变的物体。它和ScanNet数据集的区别主要在于ScanNet中的每一个采样环境都不相同,但是3RScan中存在采样环境相同但物体的位置不同的场景。Scene Graph Annotations 则是在3RScan的基础上给物体加入了场景图需要的关系、物体特征和类别标注,同时对3RScan进行了扩展,以此形成了场景图数据。

weixin_43508459的博客 1838

Sqoop安装部署

下载路径: http://archive.apache.org/dist/phoenix/apache-phoenix-4.13.1-HBase-1.2/bin/ mysql connector 下载路径: https://dev.mysql.com/downloads/connector/j/5.1.html Sqoop简介 用于在Haddoop和传统的数据库(mysql,postgr...

qq_36448587的博客 638

华为[ENSP]—— 实验二、三层交换和ARP的工作原理

华为[ENSP]三层交换和ARP的工作原理

weixin_62594100的博客 6412

菜鸟先飞之sqoop环境搭建以及jar包依赖

文件准备下载到本地 sqoop-1.4.6-cdh5.14.2.tar.gz 拖入安装目录并解压 tar -zxfsqoop-1.4.6-cdh5.14.2.tar 解压文件重命名 mvsqoop-1.4.6 sqoop 配置环境变量 vi /etc/profile export SQOOP_HOME=/opt/install/sqoop export PATH=$SQOOP_HOME/bin:$PATH 切换至配置文件目录 cd /opt/install/sqoop/conf...

望、本归心的博客 1843

IB网络下不同租户业务隔离方案

IB(InfiniBand)网络隔离可以在不同的通信模式下实现,其中包括 IPoIB(IP over InfiniBand)通信模式。在 IPoIB 模式下,InfiniBand 网络可以承载 IP 数据包,使得基于 IP 的应用程序能够在 InfiniBand 网络上进行通信。在这种情况下,IB 网络隔离通常指通过配置 Partition Key(PKey)来实现不同的租户或应用程序之间的网络隔离。然而,IB 网络隔离并不仅限于 IPoIB 模式。

guganly的专栏 1529

UBUNTU使用RTL8811CU网卡(包含树莓派)

下载驱动 从绿联中下载:链接 下载解压后,chmod Linux文件夹 sudo chmod -R 777 ./Linux/ 修改系统的BOOT Secure为disable,参考链接:链接 sudo apt install mokutil sudo mokutil --disable-validation 重启电脑后,按照提示选择change secure boot state,并输入对应的字母(并不是全部密码,而是第几个),选择disable即可 进入Linux文件夹,运行命令 ..

Hot_Ant的博客 6249

cloudera cdh sqoop2 加入myqsl 驱动包

下载mysql驱动包 http://dev.mysql.com/downloads/file.php?id=454397 .解压提取 mysql-connector-java-5.1.31-bin.jar 把提取的驱动JAR放到你的sqoop-server启动的节点的下面制定的目录下 /var/lib/sqoop2/ 重启sqoop2 具体操作参见 http://sqoop.apache.org/d

KNIFE_PAN的专栏 2832

【点云语义分割】Ubuntu20.04下RangeNet++环境配置与实战指南

本文详细介绍了在Ubuntu20.04系统下配置和运行RangeNet++点云语义分割模型的完整实战指南。内容涵盖从Cuda、cudnn到TensorRT的深度学习环境搭建,RangeNet++源码编译的详细步骤与常见问题解决,以及如何运行首个分割Demo并可视化结果。最后,还探讨了处理自定义点云数据格式和进行性能调优的进阶技巧,旨在帮助开发者和研究者快速部署并应用这一先进的点云语义分割技术。

rnn9storyteller的博客 519

MySql 8.0使用mysql 一

使用mysql 一 使用命令行连接mysql 连接数库 mysql -h [主机ip] -u [用户] -p 输入密码 如图: 退出mysql 使用exit 或者 Ctrl + D 撤销命令 Ctrl + C 或者键入 \D select \c select ^c 创建数据库 create database company; create database `my.contacts`; 反...

qq_21344887的博客 538

lammps构建高熵合金模型+结构优化初步筛选能量最小的结构

lammps构建高熵合金模型+结构优化初步筛选能量最小的结构

qq_45834835的博客 2605

使用verilog设计实现QR分解

QR(正交三角)分解法是求一般矩阵全部特征值的最有效并广泛应用的方法,一般矩阵先经过正交相似变化成为Hessenberg矩阵,然后再应用QR方法求特征值和特征向量。 使用verilog对QR实现方法进行设计并进行功能仿真: 如下: 顶层模块代码: module TOP( H1R, H1I, H2R, H2I, H3R, H3I, H4R, H4I, clk, rst_n, Y1R, Y1I, Y2R, Y2I, X1R, X1I, X2R, X2I ); parameter width = 16; // I

QQ_778132974的博客 2152

Sqoop-1.4.6-cdh5.7.0.tar.gz安装 + Sqoop 简单操作

Sqoop安装1 下载1.    下载地址http://archive.cloudera.com/cdh5/cdh/5/2.    环境sqoop-1.4.6-cdh5.7.0.tar.gz版本2 上传到linux上,并解压[hadoop@ruozehadoop000 software]$ tar -xzvf sqoop-1.4.6-cdh5.7.0.tar.gz –C~/app修改用户和用户组 ...

烙痕丷的博客 1274

软考高级系统架构设计师历年论文真题深度分析(2011-2025)

本文系统分析了2011-2025年系统架构设计师论文真题,归纳出十大主题类别,包括架构风格、企业集成、数据技术、非功能属性等。研究发现新兴技术占比最高(18.8%),企业集成、数据架构和非功能属性为三大核心考点。论文命题呈现明显技术演进特征,从经典架构理论逐步转向云原生、AI融合等前沿方向。备考建议重点关注高频考点和技术前沿,同时强化场景化解决方案能力。分析表明,架构师考试持续跟踪行业技术发展,注重理论与实践结合,为考生提供了明确的备考方向。

一几文的编程学习笔记。 2058

cdh sqoop 配置_Hadoop 之 Sqoop 安装配置与示例

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop是为大数据集设计的。Sqoop支持增量更新,将新记录添加到最近一次的导出的数据源上,或者指定上次修改的时间戳。接下来我们看一下如何安装与做简单示例要安...

weixin_39764494的博客 637

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

sqoop java_Java代码执行sqoop抽取动作

执行从MySQL数据库导出数据到HDFS上。执行前需准备:在eclipse中写的代码,所以,又新加了sqoop-1.4.6-cdh5.5.2.jar放入原有的hadoop项目中,否则会有编译错误。同时,在集群上,将此包加入HADOOP_HOME/share/hadoop/yarn下,否则会报缺少Jar包的错误。错误显示:[hadoop@fa01 ~]$ hadoop jar SqoopTest1....

weixin_42118770的博客 297

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

CDH Sqoop

CDH Sqoop报错问题Oracle数据库导入异常看到这个错误我想到了以下几点 Oracle数据库导入异常 首先要在 /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/sqoop/lib 这个路径下,放入你项目中用到的oracle驱动Jar包,否则会提示没有oracle驱动!!! mysql的驱动默认是有的 我的CDH版本是1.4.7-cdh6.3.1 测试oracle连接时,出现这个图中错误 20/12/30 16:33:23 ERR

quanjiao4514的博客 693

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

cdh mysql sqoop 驱动_【sqoop实战】了解sqoop这一篇就够了

介绍Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 :MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS或HBase中,也可以将HDFS的数据导入到关系型数据库中。sqoop是连接关系型数据库和hadoop的桥梁,主要有两个方面(导入和导出):A. 将关系型数据库的数据导入到Hadoop 及其相关的...

weixin_39517859的博客 451

非CDH 安装 Sqoop

================= 最新文章 ========================== 1.CDH 6 的安装和使用 2.用户画像 1.tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop 3.cd /root/sqoop/c...

あずにゃん梓喵的博客 632

cdh mysql sqoop 驱动_CDH的坑之Sqoop导出数据到MySQL

CDH的坑之Sqoop导出数据到MySQL最近使用Sqoop从Hive导出数据到MySQL中,出现了一系列的问题,下面将这个问题记录一下,避免再度踩坑!导出语句sqoop export --connect jdbc:mysql://192.168.1.78:3306/data \--username root \-P \--export-dir '/user/hive/warehouse/pers...

weixin_39600704的博客 520

CDH中hue执行shell脚本调用sqoop脚本报错

CDH中hue执行shell脚本调用sqoop脚本报错 1、Could not load db driver class: com.oracle.jdbc.Driver 解决:oracle驱动不存在。你可以把驱动包拷贝到/opt/cloudera/parcels/CDH/lib/sqoop/lib 。看到这个错误的时候,需要提示的一点,服务器上执行sqoop脚本。不会报错,但是在CDH中就会报错...

AyubLIbra的博客 894

CDH配置sqoop

添加sqoop服务 打开cluster 添加服务 选择sqoop2,然后一路继续即可 4. 安装完成后查看服务 配置mysql驱动 下载mysql驱动到cdh的jars路径下 mysql驱动下载地址 root@cdh1:/opt/cloudera/parcels/CDH/jars# ll mysql-connector-java-5.1.49-bin.jar -rw-r--r-- 1 root root 1006906 1月 21 09:17 mysql-connector-java-

jm88621的博客 1247

cdh mysql sqoop 驱动_快速搭建sqoop学习环境

CDH简单了解CDH: C:cloudera(公司) D:distribute H:Hadoop解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题,不用自己编译, CDH适合商用,版本更新比较慢,也可以选择其他版本。CDH版本的安装在线:不推荐,受网速影响离线:rpm包,tar包之前已经安装使用过Apache版本的Hadoop,这次为了区分,我们再单独见一个cdh目录,用于安装cdh...

weixin_42437067的博客 291

CDH 基于Hue的Sqoop自动化ETL任务

文章目录前言1 配置HDFS的权限1.1 Master添加supergroup组2 上传驱动到HDFS 前言 首先需要CDH集群 本次演示的CDH:6.3.1 自行安装Oozie 、Hue、Sqoop1 1 配置HDFS的权限 看到HDFS属于supergroup任务组 1.1 Master添加supergroup组 首先到Master中查看 cat /etc/group 发现没有supergroup任务组 看下HDFS属于哪个组 cat /etc/passwd #属于Hadoop组 添加super

ifeng 1081

CDH 6.3.2 安装(一)

1、安装vim yum -y install vim 2、主机名配置 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=cdh1 3、网络配置 vim /etc/hosts

星辰大数据的博客 6108

CDH中oozie 定时调度sqoop job

在数据开发中,由于数据量非常的大,有时候需要将关系型数据库(Oracle/Postgresql/Mysql等)中的表导入到hdfs中进行分布式存储。本文就oozie定时调用sqoop job从oracle库中增量导入数据至hive表具体操作记录一下: 首先,准备工作是在HDFS上创建oozie job需要的workflow.xml,hive-site.xml,coordinator.xml和li

河南骏的博客 3721

cdh mysql sqoop 驱动_CDH中sqoop无法在 hue 中正确执行的问题

JDBC的配置给你带来多少的麻烦?安装好 CDH 后,添加完 sqoop 1服务后,去 hue 中执行直接报错。1234567891011121314151617No child hadoop job is executed.java.lang.reflect.InvocationTargetException...at org.apache.hadoop.security.UserGroupIn...

weixin_39640849的博客 668
上一篇: CDH之HIVE-ON-SPARK、Spark配置
下一篇: Linux设置开机自启
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值