Kettle表输入到Parquet表输出

已于 2022-05-17 14:18:26 修改
阅读量952 收藏
点赞数
分类专栏： Kettle 文章标签： etl 数据库 big data
于 2022-05-09 15:33:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43278973/article/details/124667300
版权
本文介绍了如何使用Kettle从Oracle数据库中读取数据并将其输出为Parquet格式。重点讨论了Parquet输出步骤，包括压缩格式的选择（Gzip和Snappy），并提到了在Kettle 9中进行此操作的必要性。此外，文章还详细解释了在Windows环境中配置Hadoop以解决运行时错误的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Kettle表输入到Parquet表输出

图示

在这里插入图片描述

local_oracle_table_input

在这里插入图片描述

table_parquet_output

在这里插入图片描述
在这里插入图片描述

  • 注：压缩格式有两种：

    1. Gzip 优点：

      1. 压缩解压速度快 , 压缩率高 , hadoop本身支持
      2. 处理压缩文件时方便 , 和处理文本一样
      3. 大部分linux 系统自带 Gzip 命令 , 使用方便

    2. Snappy优点：
      　　高压缩解压速度 , 压缩率还可以

最低0.47元/天 解锁文章
kettle将文件存储为orc或者parquet
x²＋(y－√³x²)²＝1的博客
05-24 1209
以下是在kettle8.3版本进行测试的。在kettle9.2版本，无法使用组件 Windows本地得配置Windows-Hadoop的环境变量 orc 设置orc output的压缩方式，下面是设置的snappy压缩可以不设置。 有个bug是，orc无法设置字段的编码。如果有中文数据，则会显示乱码 parquet，可以设置UTF8 设置压缩方式 ......
kettle 将mysql数据 导入到hive
SDKLHKJAS的博客
09-04 1569
先说说思路：一 是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select 插进去 下面分别介绍下两种方式 第一种： 1.连接hive对外服务的组件hiveserver2 点击测试，OK之后会显示测试成功 测试直接将mysql中的stdcode表导入一下 抽取数据，插入的目标库中有没有对应为表的话点击下.
kettle资源库表详解
03-23
kettle资源库表详解
kettle全量抽取---抽取MySQL数据到HDFS
weixin_45389898的博客
02-12 381
kettle全量抽取：利用kettle实现从MySQL抽取数据到HDFS的hive分区中，并修复hive的分区
parquet-tools工具使用
一名程序猿的博客
02-09 2451
parquet-tools工具的使用及出现的问题解决
kettle 的表输出 table output
weixin_30505043的博客
12-20 494
kettle的表输出： 双击后，看设置， 1，在connecttion后面，点击new里新建一个。设定各个选项值，如选择mysql类型，则配置hostname，database name，端口， 用户名，密码，一般java里用jdbc连接。 2，然后，可以设定是否truncate table。注意，输出是将内容全部作为新增插入，与原表内容没关系，相同内容执行两次，就会有重复内容。原表内容不动，...
kettle通用插件
Auspicious航的博客
02-01 1402
目前已实现从rest接⼝读取数据到字段、通过sax⽅式解析excel到多个字段。"url":"",其中，method，请求类型：get/post headers，请求头，必须存在，可以为空对象：{}useSSL，对于有些环境，请求https会报PKIX认证的错误，设置该参数为true绕过认证params，post请求时传的参数，method为post的时候，参数params才有效。
Kettle批量插入Hive2的性能挑战：表输出速度慢问题剖析
[Kettle批量插入Hive2的性能挑战：表输出速度慢问题剖析](https://docs.gcp.databricks.com/en/_images/object-model-table.png) 参考资源链接：[优化Kettle到Hive2批量插入：提升速度至3000条/秒]...
Kettle生成日期维度数据(数仓项目)
Knight
03-21 2414
目录生成日期维度数据Hive创建日期维度表使用Kettle构建以下组件结构图 生成日期维度数据 经过需求分析我们发现指标统计需要的日期类型比较多如果在事实表的时间字段上做文章，比较复杂，甚至有些根本无法获取到比如节假日、休息日、工作日信息。所以我们可以考虑提前准备一张日期维度表，准备好指标统计的日期类型。 利用我们前面学习的kettle工具生成日期维度数据，需要借助于kettle的js脚本组件。 kettle实现思路： 日期使用 Canlendar、SimpleDateFormat，编写Javascrip
2、用Kettle生成日期维度数据（一）使用kettle生成2019年日期文件保存到hive表中
qq_43742212的博客
05-04 4950
1、 2、需要生成的字段 名 类型 示例值 中文名 date_key string 20000101 代理键 date_value string 2000-01-01 年-月-日 day_in_year string 1 当年的第几天 day_in_month string 1 当月的第几天 is_f...
clickhouse输入输出格式之Parquet
lyq7269的博客
03-18 1063
Parquet输入输出格式 支持Parquet格式的导出和导入。 Parquet和ClickHouse类型的匹配关系 Parquet data type (INSERT) ClickHouse data type Parquet data type (SELECT) UINT8,BOOL UInt8 UINT8 INT8 Int8 INT8 UINT16 UInt16 UINT16 INT16 Int16 INT16 UINT32 UInt32 UINT32 INT32
Kettle连接Clickhouse 自定义插件
Yuhang.Pei 's blog
12-04 8219
当前环境： clickhouse 19.15.1.1 （19年的老版本ch ，还未更新过） kettle 8.1.0.0-365 (因为8.1对parquet 支持较好，所以选了这个版本) 当前问题：kettle -8 目前提供的JDBC 没有clickhouse。 需要自己手写插件，集成到kettle 系统。 前期准备：搜到过类似新增JDBC的文章，包括：官网提供的自定义连接的方法 和 神通数据库的案例。 官网提示地址：https://help.pentaho.com/Documen...
千亿数仓2_使用Kettle生成日期维度数据
汉子一枚
06-05 1484
使用Kettle生成日期维度数据 需求： 为了后续分析销售订单金额、订单笔数的周环比、周同比、月环比、月同比，需要提前使用Kettle生成时间维度工具（环比是相邻比较，同比是历史同期比较） 按照以下字段生成 2019年一年的日期维度数据 分析： 日期使用 Canlendar、SimpleDateFormat，编写Javascript脚本实现 国家法定节假日实现，需要往http://api.goseek.cn/Tools/holiday?date=20190102 年月日，发送请求，获取结果，以下为该RES
Parquet 文件生成和读取
最新发布
小强签名设计 的博客
02-26 8322
这种方式的 User 实体类和上面方式的 schema.avsc 文件中的。
读写parquet格式文件的几种方式
帆了个帆的专栏
07-25 6万+
摘要 本文将介绍常用parquet文件读写的几种方式 1.用spark的hadoopFile api读取hive中的parquet格式文件 2.用sparkSql读写hive中的parquet格式 3.用新旧MapReduce读写parquet格式文件 读parquet文件 首先创建hive表，数据用tab分隔 create table test(name string,ag...
【kettle】安装、转换、Job
依旧的博客
04-22 8230
一、Kettle安装、配置 环境要求： 安装、配置好JDK 1、下载Kettle 2、解压Kettle 3、双击spoon.bat 启动spoon 二、Kettle的使用 Kettle数据流结构图 1、Test1 csv-excel 在Kettle中新建转换 拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件 配置CSV输入组件、Excel...
Parquet与ORC：高性能列式存储格式
热门推荐
Hello World
07-09 6万+
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分析
kettle 数据库连接中断重置
数据技术控
12-29 1万+
项目适用kettle作为etl工具，源数据库为mysql库，目标库为oracle。在持续的循环调度中，经常发现oracle的数据库连接中断，需要重置。 具体报错信息如下： INFO  26-12 23:40:13,220 - Kitchen - Logging is at level : Basic logging INFO  26-12 23:40:13,221 - Kitchen
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值