Kettle导出mysql数据到hive

最新推荐文章于 2024-11-14 16:37:14 发布
最新推荐文章于 2024-11-14 16:37:14 发布
阅读量560 收藏 1
点赞数 1
分类专栏： Big data 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/programmerDingl/article/details/107979011
版权
本文介绍了使用Kettle将MySQL数据导出到Hive的两种方法，包括将Hive的jar包转移到Kettle大数据目录，修改plugin.properties文件，连接Hive Server 2，以及在Kettle中新建转换。在操作过程中可能会遇到的错误及解决方案也进行了说明，如字段类型转换错误和分隔符选择不当导致的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Kettle导出mysql数据到hive

通过Kettle导出mysql数据到hive有两种方案：

​ 1. 将hive表直接作为表输出进行

在这里插入图片描述

  1. 先将数据上传到hdfs，然后执行SQL语句load到hive
具体步骤如下：
(1）将hive安装目录下，lib里面的所有hive开头的jar包转移至kettle的大数据jar包目录下

​ data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25\lib

(2) 修改kettle的plugin.properties文件

​ plugins/pentaho-big-data-plugin/plugin.properties
在这里插入图片描述

（3）启动hive，连接hive Server 2（对于直接连接hive）

​ 如果是apache hive

 bin/hive --service metastore &
 bin/hive --service hiveserver2 &

​ 如果是cdh hive 可以直接

最低0.47元/天 解锁文章
Centos下如何创mysql中间库并定时更新数据
清风不请自来，只为一亲芳泽
10-09 856
CentOS下如何创建mysql中间库并定时更新数据
简单使用Kettle将mysql的数据导入hive中去
qq_34566673的博客
01-01 1646
**使用环境： ——hadoop260-cdh5.14.2版本 ——hive1.1.0-cdh5.14.2版本 ——mysql 5.6.50 ** 首先去国内的镜像网站下载kettle的安装包： 下载完之后解压双击soppn.bat就可以运行了，第一次运行会有点慢，稍等片刻就好了。 拖动添加表输入和表输出 表输入是从mysql中获取数据（需要新建mysql连接，指定数据库名称） 表输出是将数据导出至hive中去 需要将mysql的jar包和hive jdbc standalone的jar包复制到相关的lib
kettle 从oracle数据库导数据到hive 表
03-23
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
kettle批量插入hive2，解决表输出速度慢问题
05-08
解决kettle使用表输出到hive2时，批量提交不起作用导致速度非常慢的问题，重新编译big-data-plugin插件使表输出支持对hive2批量提交，速度由几十条每秒提升到三千条每秒。
kettle 将mysql数据 导入到hive
SDKLHKJAS的博客
09-04 1588
先说说思路：一 是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 下面分别介绍下两种方式 第一种： 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下.
Kettle spoon中mysql数据导入hive从建表到导数据解决方案参考
热门推荐
YrI/OG
03-15 1万+
最近在学习大数据的数据迁移，要从关系型数据库里导数据到hive数据库里，其中碰到了很多麻烦，曾试过使用sqoop方式导入数据不过功能不够全面比如表结构及数据筛选问题，现在使用kettle来进行数据迁移工作，其中碰到了很多问题不过都能给出相应的解决方案，如此写下这篇文档供各位工程师参考 那么如何将mysql数据导入到hive里呢，kettle里有自带方法，可以通过表输入和表输出来实现，不过自带的方法...
Kettle数据同步导出链接hive2几种方法
hj0303的博客
03-10 1116
Kettle A． 优缺点 kettle的优点： 1.可视化界面。一个可视化界面足以成为选择kettle的首要原因。毕竟，可视化意味着更方便人的使用。 2.元数据库。元 数据库 用来保存kettle任务的元信息，方便管理任务，通常叫做资源库（ repository ）。 3.自带工作流并且支持增量抽取。 4.可以配置成一套逻辑。例如：抽取数据时，目标表不存在则插入，存在则更新，而目标表中存在...
kettle+mysql+to+hive_Kettle读取mysql数据存入Hive分区表中,使用Impala查询
weixin_34333047的博客
01-19 566
操作步骤1)TmpBstAggZwTktModelD按天读取Mysql表数据bst_agg_zw_tkt_model_d，存入hive临时表tmp_bst_agg_zw_tkt_model_d(临时表采用txt格式，按年月日进行分区)2)HiveBstAggZwTktModelD连接hive,将临时表tmp_bst_agg_zw_tkt_model_d的数据加载到bst_agg_zw_tkt_mo...
3、千亿级数仓项目（一）在mysql建表通过kettle把数据导入到hive表中
qq_43742212的博客
05-05 3233
导出parquet输出文件 1、在mysql创建10张表，并且导入数据 2、在hive中创建10张表（注意表是否分区） 3、使用kettle把mysql的数据导入到hive中 使用到的组件 表输入、 字段选择、 parquet output 流程图 1、表输入配置 2、字段选择 注意：字段选择的字段顺序和字段类型要和创建的表一致 字段选择指定日期格式 3、Parquet output 注意...
Kettle将数据导入导Hive2
01-07
前言        本来将数据导入到hive，但是不知道什么原因太慢了，一小时200条数据，优化一波kettle，还是成效不大，因此改为借用hadoop file output 到hdfs，然后再load 到hive表里 一，正文 1.在转换里拖入big data/hadoop file output      新建hadoop cluster连接      从集群里下载core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml      覆盖kettle的plugins\pentaho-big-data-plugin\hadoop-co
将mysql表中数据导入到hive分区事务桶表
健康平安的活着的专栏
07-10 798
3.1.1逻辑描述 1.删除hv_orders_user_buckets表中对应分区的数据 2.按指定日期从mysql中的数据库查询数据orders0-9和orders_user0-9表的数据导入到hive中的hv_orders_user表指定的分区中。Hv_orders_user是一个分区表，不具有事务 3.将hv_orders_user表中的数据按分区导入到hv_orders_user...
kettle8.2.0 下面mysql 导入Hive3.1.0
一休求索
04-15 442
mysql导入hive3.1.0中花了两天时间，弄的有点泪崩。 主要问题最新hive模式有些变化，另外hive本身直接导入非常低效，因此只能采用mysql导入hdfs，然后再加载到hive中。 先点击new transformation 生成一个ktr文件。 1 先创建表输入和Hadoop file output，详细如下： 2 配置Hadoop file output，详细如下图 点击测试，进行查看配置是否正确 不正确的情况： 1：core-site.xml，mapred-.
ETL工具Kettle研究-3-MySQL数据导入HIVE
阿啄debugIT
02-04 1651
前言 .从数据库(mysql)中读取数据写入HDFS并建hive表。 在该转换中，需要配置2个DB链接（Mysql和HiveServer2），配置Hadoop集群（HDFS），配置子服务器（远程执行服务器）。 本实践的元数据文件：mysql-to-hive.ktr 1.数据库配置 主对象树->DB连接->新建->一般->Mysql->设置(填写数据库信息) 注意...
使用etl工具kettle的日常踩坑梳理之二、从Hive中导出数据
大马猴5的博客
11-14 702
3、我现在想把hive中某一张表的数据导出来，就先点击输入下面的表输入，输出就是用什么格式的文件存储，比如我想用csv存储就选择这个文本文件输出。4、点击新建，配置好数据库连接信息，如果你配置了无须用正确的用户名和密码访问就还需要进入选项配置auth=noSasl。6、然后点击导出的csv进行简单的配置，比如保存的目录文件名称,设置分隔符，编码格式等(点击浏览可以设置)。7、然后按住shift键别动，用鼠标把两个拉起来，然后点击那个三角形启动，然后会弹出导出的过程。
ketlle读取mysql表数据_Kettle读取mysql数据存入Hive分区表中,使用Impala查询
weixin_39968640的博客
01-20 222
操作步骤1)TmpBstAggZwTktModelD按天读取Mysql表数据bst_agg_zw_tkt_model_d，存入hive临时表tmp_bst_agg_zw_tkt_model_d(临时表采用txt格式，按年月日进行分区)2)HiveBstAggZwTktModelD连接hive,将临时表tmp_bst_agg_zw_tkt_model_d的数据加载到bst_agg_zw_tkt_mo...
mysql数据导入到hive表中
qq_45300786的博客
03-03 1125
在Hive中创建xd_phy_course数据表，其数据表结构如下表所示。使用Sqoop工具将MySQL中xiandian数据库下xd_phy_course表导入到Hive数据仓库中的xd_phy_course表中。 1，先创建一个hive表， create table h2 (stname string,stID int,class string,opt_cour string) row for...
基于kettle实现mysql-hive的数据传输（生产环境）
小王是个弟弟
12-18 1549
记一次代码被经理毙掉之后被迫使用kettle的经历
通过KETTLE 生成MYSQL 到HIVE的建表语句
bxdandmf的博客
02-23 909
在数仓这块实在有太多想写的了，又感觉写得不专业不系统，始终没有动起手来，就零散写一些简单的小技巧和工具吧！ 通过KETTLE 生成MYSQL 到HIVE的建表语句：市场上这样的工具太少了，为了提升效率，简单写了一个作业来实现这个能力。 逻辑大致分为三步， 1.提供需要采集的业务库（mysql）的元数据读取权限，用于读取表 字段信息 2.通过构建SQL逻辑实现建表语句 3.建表语句追加方式输出 到文件 先看下实现的效果吧： 读取的资源库的表结构，然后生成建表语句，其中简单处理了一些字段...
hive数据迁移mysql
最新发布
02-01
### 如何从Hive迁移数据到MySQL #### 使用Sqoop进行数据迁移 对于大规模的数据迁移，Apache Sqoop是一个非常有效的工具。该工具专为在关系型数据库（如MySQL）和分布式存储系统（如HDFS上的Hive表）之间传输大量数据而设计。 通过Sqoop可以执行如下操作来实现从Hive至MySQL的数据迁移： ```bash sqoop export \ --connect jdbc:mysql://<mysql_host>:3306/<database_name> \ --input-fields-terminated-by '\001' \ --columns "col1,col2,...,coln" ``` 上述命令会把位于指定路径下的Hive表导出到目标MySQL实例中特定模式内的表格里[^1]。 #### 利用ETL工具Pentaho Kettle (Spoon) 另一种方法是借助于图形化的ETL(Extract Transform Load)平台——Pentaho Data Integration(PDI)，也称为Kettle。此软件允许创建复杂的工作流来进行抽取、转换以及加载过程。具体步骤涉及设置源端连接指向Hive Metastore服务，并定义目的端链接针对远程或本地部署的MySQL Server；之后构建映射规则完成字段级别的匹配工作最后启动作业实施实际的数据搬运动作[^3]。 #### 手动脚本方式转移少量记录 当仅需处理相对较小规模的数据集时，则可以通过编写自定义程序读取来自Hive的结果集并通过JDBC接口逐条写入到RDBMS之中。Python配合PyHive库访问HiveServer2 API获取查询结果再利用SQLAlchemy ORM框架提交变更给接收方是一种可行的选择之一[^2]。 ```python from pyhive import hive import sqlalchemy as db # Connect to Hive and MySQL databases. conn_hive = hive.Connection(host='localhost', port=10000, username='your_username') engine_mysql = db.create_engine('mysql+pymysql://root:password@localhost/dbname') with conn_hive.cursor() as cursor: sql_select = 'SELECT * FROM your_hive_table' cursor.execute(sql_select) result_set = cursor.fetchall() metadata = db.MetaData(bind=None) table_dest = db.Table( 'destination_table', metadata, autoload=True, autoload_with=engine_mysql ) insert_stmt = table_dest.insert().values(result_set) engine_mysql.execute(insert_stmt) ``` 为了确保整个流程顺利无误，在正式上线前务必经过充分测试验证各环节逻辑正确性并且考虑加入必要的错误重试机制提高稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值