kettle实现MySQL数据库向hive数据仓库大数据同步经验分享

最新推荐文章于 2025-09-09 17:40:13 发布
原创 最新推荐文章于 2025-09-09 17:40:13 发布 · 3.3k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kettle #MySQL #大数据同步 #hive仓库 #HDFS

本文详细记录了使用Kettle v8.2在CDH集群环境下进行MySQL至Hive的大数据同步测试，包括全量及增量同步的性能表现，并提出多项优化策略，如通过HDFS文件导入提升效率、字段最小宽度选择、动态分区优化等。

一、同步性能测试

1、测试环境信息

kettle：版本8.2，carte独立部署，内存参数-Xms1024m -Xmx4096m

mysql数据库：8核CPU，CPU主频2.20GHz，16G内存，版本号5.7.25

大数据环境采用CDH，包含HDFS、hive等组件

CDH集群服务器（共4台）：8核CPU，CPU主频2.20GHz，16G内存，CDH版本5.14.4

2、性能测试结果

全量同步

3000万xxx_log表数据，14个字段，从MySQL数据库同步导入hive仓库，第一次同步耗时290秒，平均10.34万条/秒

第二次同步耗时186秒，平均16.13万条/秒，472天数据按天动态分区，加载到hive分区表耗时179秒

增量同步

3000万xxx_log表历史数据，14个字段，每天100万增量数据，从MySQL数据库按天增量同步到hive仓库，按天静态分区，同步耗时8.689秒，平均11.51万条/秒，加载到hive分区表耗时1.142秒(与同步并行执行)，总耗时8.689秒

二、性能优化点

1、不能直接将MySQL数据库查询出来的数据写入hive仓库，需要先导出到HDFS文件，再通过hive的load命令导入hive仓库。因为hive数据仓库插入数据很慢，插入1条数据可能要10来秒钟；而通过load方式加载HDFS数据文件的方式导入数据，数据量即使有几千万条也只要几百毫秒时间。

2、导出到HDFS文件，字段要选择最小宽度，可以提升几倍性能。因为默认未选择最小宽度，从MySQL中导出的数据存到HDFS文件时每个字段可能会填充空格值使字段长度达到

最低0.47元/天 解锁文章
Mysql同步到Hive实例
wushuoyouting的博客
05-27 943
Mysql同步到Hive实例 以下实例均为本地模式下运行完成，主要是针对Mysql数据同步到Hive的实例说明。将介绍mysqlreader和hivewrite的所有参数配置的使用。 mysqlwrite参数说明：https://github.com/DTStack/flinkx/blob/1.10_release/docs/offline/reader/mysqlreader.md hiveread参数说明：https://github.com/DTStack/flinkx/blob/1.10_relea
Kettle提高表输出写入速度（每秒万条记录）
热门推荐
弧光
09-12 4万+
由于Kettle提高表输出写入速度太低，每秒速度三四十，实在忍受不了，参考一些资料之后进行了以下改变，我只进行了第一项的速度每秒五六千，加上其他的测试速度有达到3万多，有一分钟二十多万的记录，没测试极限，下为更改的地方： NO.1 mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置 在此处添加参数： useServerPrepStmts=false rewriteBa...
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 太学浅，还是就第一种在人理解上最好的一种先记录一下 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下方的SQL，会默认执行DDL语句，create一下表，接下来NEXT 成功！当然具体的
Kettle （三）：mysql导入hive
小蚯蚓的博客
05-24 5268
一、实现功能 Kettle （三）：mysql导入hive 使用kettle将mysql中的数据导入hive，从而实现数据迁移。 二、环境 1.Centos7.4 2.CDH5.7.0 3.Kettle 8.0 4.JDK1.8 三、Kettle中建立数据库连接 1. 建立mysql数据库连接 （1） 新建mysql_local的数据库连接 （2） 输入mysql对...
同步mysql数据到hive
尘世间的一个小书童
05-10 1002
  1. 下载sqoop 地址为：http://archive.cloudera.com/cdh/3/下载相应版本，如sqoop-1.2.0-CDH3B4.tar.gz 2. 下载 hadoop 地址为：http://archive.cloudera.com/cdh/3/，版本可以为hadoop-0.20.2-CDH3B4.tar.gz 3.解压 sqoop-1.2.0-CDH3B4.t...
mysql到hive调度工具_从MySQL到Hive，数据迁移就这么简单
weixin_39750598的博客
12-22 640
使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。先决条件:安装并运行有Sqoop与Hive的Hadoop环境。为了加快处理速度，我们还将使用Cloudera Quickstart VM(要求至少4 GB内存)，不过大家也可以使用Hortonworks Data Platform(至少要求8 GB内存)。由于我的笔记本电脑只有8 GB内存，因此我...
大数据任务调度和数据同步组件初探
xiaoliizi的博客
05-08 1642
大数据组件调研
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 5191
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
mysql与数据仓库的数据交互
07-15
具体来说，通过Kafka主题可以收集不同来源的数据流，这些数据流可以是MySQL数据库变更日志，也可以是其他系统产生的事件。然后，Flume可以被配置为从Kafka中读取数据并将其发送到数据仓库中。这种方式不仅提高了数据...
大数据领域数据架构的多源数据整合
最新发布
专注搜索引擎技术
09-09 904
随着企业信息化建设的深入，业务系统呈现多源异构特性：从传统关系型数据库（如MySQL、Oracle）到NoSQL数据库（如MongoDB、Cassandra），从文件系统（CSV、JSON、XML）到实时数据流（Kafka、Flume），数据孤岛问题日益显著。据Gartner调研显示，73%的企业数据资产分布在多个无法连通的系统中，导致数据分析效率低下、决策支撑能力不足。本文聚焦大数据架构下多源数据整合的核心技术体系，涵盖数据源接入、数据清洗转换、质量校验、存储建模等关键环节。
kettle 从oracle数据库导数据到hive 表
03-23
由于公司要把oracle 数据库迁移到hive ，hbase 环境，特建议使用kettle做数据迁移，调试3个小时，终于调试成功，顺手写了个配置文档。
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
ETL工具Kettle研究-3-MySQL数据导入HIVE
阿啄debugIT
02-04 1760
前言 .从数据库(mysql)中读取数据写入HDFS并建hive表。 在该转换中，需要配置2个DB链接（Mysql和HiveServer2），配置Hadoop集群（HDFS），配置子服务器（远程执行服务器）。 本实践的元数据文件：mysql-to-hive.ktr 1.数据库配置 主对象树->DB连接->新建->一般->Mysql->设置(填写数据库信息) 注意...
【Sqoop】从MySQL同步数据到Hive的操作参数解析
Nieson2012的专栏
08-16 2930
参数解析： 必选参数 --connect :连接的mysql数据库的jdbc信息 --username:mysql数据库的登录账户 --password:mysql数据库的登录密码 --table: 关系数据库表名  --hive-import: 从关系型数据库向hive中导入数据的标志 可选参数 --as-testfile: 将数据导入一个普通文本文件中 --as-sequen...
kettle 将mysql数据 导入到hive
SDKLHKJAS的博客
09-04 1635
先说说思路：一 是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 下面分别介绍下两种方式 第一种： 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下.
使用kettle同步数据到hive
茂神的博客
07-03 7904
1. 在kettle中设置hive相关配置 首先在Hive的安装目录里（/usr/hdp/2.6.4.0-91/hive2/jdbc）找到Hive的jdbc的jar文件， 复制这个jar文件到Kettle的lib目录下（D:\data-integration\lib）， 重启Kettle。 修改plugin.properties文件（D:\data-integration\plug...
3、千亿级数仓项目（一）在mysql建表通过kettle把数据导入到hive表中
qq_43742212的博客
05-05 3269
导出parquet输出文件 1、在mysql创建10张表，并且导入数据 2、在hive中创建10张表（注意表是否分区） 3、使用kettle把mysql的数据导入到hive中 使用到的组件 表输入、 字段选择、 parquet output 流程图 1、表输入配置 2、字段选择 注意：字段选择的字段顺序和字段类型要和创建的表一致 字段选择指定日期格式 3、Parquet output 注意...
【Kettle的安装与使用】使用Kettle实现mysql和hive的数据传输（使用Kettle将mysql数据导入hive、将hive数据导入mysql）
一个大数据的爱好者
10-30 1654
Kettle的安装与使用、使用Kettle实现mysql和hive的数据传输（使用Kettle将mysql数据导入hive、将hive数据导入mysql）
kettle+mysql+to+hive_Kettle读取mysql数据存入Hive分区表中,使用Impala查询
weixin_34333047的博客
01-19 579
操作步骤1)TmpBstAggZwTktModelD按天读取Mysql表数据bst_agg_zw_tkt_model_d，存入hive临时表tmp_bst_agg_zw_tkt_model_d(临时表采用txt格式，按年月日进行分区)2)HiveBstAggZwTktModelD连接hive,将临时表tmp_bst_agg_zw_tkt_model_d的数据加载到bst_agg_zw_tkt_mo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值