flinksql与mysql和postgresql数据类型对应关系

最新推荐文章于 2024-10-27 16:14:06 发布
最新推荐文章于 2024-10-27 16:14:06 发布
阅读量3k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据仓库技术体系
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/117291140
这篇博客介绍了在使用Flink SQL进行批处理时，遇到MySQL和PostgreSQL数据类型与Flink SQL不完全对应的问题。如MYSQL的BIGINT UNSIGNED在Flink中需转换为BIGINT，TINYINT则需转换为INT。解决这些问题的方法包括修改数据库字段类型或调整Flink SQL的类型。文章提到了pyflink脚本中的注意事项，并指出增量数据采集可通过在Hive中创建分区表并利用where语句过滤条件来实现。

以下为mysql和postgresql与Flink SQL type的数据类型的对应关系，在写flink批处理的时候注意切换数据类型。

在这里插入图片描述

实际应用中发现：
MYSQL BIGINT UNSIGNED对应flinksql的 BIGINT 时候报错。临时解决办法：mysql字段BIGINT UNSIGNED改成BIGINT。
MYSQL TINYINT 对应flinksql的 TINYINT 时候报错。解决办法：TINYINT 在flinksql jdbc中改成INT。

对应的pyflink脚本：

from pyflink.dataset import ExecutionEnvironment
from pyflink.table import TableConfig, DataTypes
了解本专栏 订阅专栏 解锁全文 超级会员免费看
7、Flink SQL 的 TypeInformation 和 DataType 的映射详解
猫猫爱吃小鱼粮
08-15 830
Flink SQL 的 TypeInformation 和 DataType 的映射详解
flink解决mysql中 tinyint 类型字段取数变成 true/false
yfqfy的专栏
11-04 1230
1、避免使用长度为 1 的 tinyint 类型字段存储数字格式的数据，tinyInt(1) 只用来代表 Boolean 含义的字段。其中 0 代表 False，1 代表 True。如果 tinyInt1isBit=true(默认)，且 tinyInt 存储长度为 1，则转为 java.lang.Boolean，否则转为 java.lang.Integer。2、JDBC 的 URL 增加 tinyInt1isBit=false 参数（tinyInt 类型转为Int类型），注意参数名区分大小写，否则不生效。
flink整合Debezium&kafka（二）探索postgresql的数据类型
Qbit编程学习笔记
01-06 1223
在pgsql里执行以下语句插入一条记录 INSERT INTO "public"."table_name" ("id_c", "json_c", "uuid_c", "xml_c", "int_c", "money_c", "jsonb_c", "numeric_c", "boolean_c", "date_c", "timestamp_c", "timestamptz_c", "time_c",...
flink-sql所有数据类型-1.15
第一片心意的博客
11-05 4673
本文是对 flink 1.15 官网中 flink sql 数据类型部分的翻译整理。
讲解一下mysql和pg的数据类型的对照
weixin_35756892的博客
01-12 4493
MySQL和PostgreSQL都是常用的关系型数据库管理系统，它们的数据类型也有所不同。 MySQL的数据类型包括: 数值类型: TINYINT, SMALLINT, MEDIUMINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL 日期/时间类型: DATE, DATETIME, TIMESTAMP, TIME, YEAR 字符串类型: CHAR, VARCHAR...
Flink PostgreSQL CDC源码解读：深入理解数据流同步
数据与算法架构提升之路专栏
10-18 952
PostgreSQL通过Replication Slot和Logical Decoding实现CDC，捕获数据变更并通过Debezium等工具发送到消息队列。WAL日志记录数据库操作，而Debezium支持多种部署方式，如Kafka Connect和嵌入式引擎，以实现数据流同步。Flink通过配置postgres-cdc连接器，利用Debezium获取PostgreSQL的变更数据。
【大数据】Flink + Kafka 实现通用流式数据处理详解
热门推荐
congge
10-27 1万+
Flink + Kafka 实现通用流式数据处理详解
FlinkSQL行级权限解决方案及源码
Hama White 的博客
02-21 1026
FlinkSQL的行级权限解决方案及源码，支持面向用户级别的行级数据访问控制，即特定用户只能访问授权过的行，隐藏未授权的行数据。此方案是实时领域Flink的解决方案，类似离线数仓Hive中Ranger Row-level Filter方案。
Flink1.18 同步 MySQL 到 Doris
zhua.er的博客
08-21 2540
修改我们的配置文件my.cnf重启 mysql。
Flink 1.9 Table API& Sql支持的Data Type
数据工匠记
02-11 8333
Flink 1.9 Table API & SQL 新特性主要包括如下： 全新的 SQL 类型系统：Table API & SQL 1.9 引入了全新的 SQL 的类型系统。以往的Table 层的类型系统复用了 Runtime 的 TypeInformation，但在实际操作过程当中遇到较多的限制。引入全新的 SQL 类型系统可以更好的对齐 SQL 语义。 DDL初步支持：这个...
Flink SQL 中处理 MySql Unsigned BIGINT 类型的方式
qq_26921975的博客
08-20 1414
flink sql 无符号 Long 处理报错
Flink Sql教程（2）
狄杰的博客
04-30 3253
从kafka到mysql 新建Java项目 最简单的方式是按照官网的方法，命令行执行curl https://flink.apache.org/q/quickstart.sh | bash -s 1.10.0，不过这种方法有些包还得自行添加，大家可以复制我的pom.xml，我已经将常用的包都放进去了，并且排除了冲突的包。注意的是，本地测试的时候，记得将scope注掉，不然会出现少包的情况。也可...
【项目实战】从MySQL转PostgreSQL注意事项
本本本添哥
12-01 1977
另外，PostgreSQL默认的字符集是UTF8，所以也不需要指定字符集。注意：在PostgreSQL中，不需要显式地指定AUTO_INCREMENT，因为bigserial已经包含了自动增长的功能。注意：在PostgreSQL中，不需要显式地指定AUTO_INCREMENT，因为bigserial已经包含了自动增长的功能。注意：在PostgreSQL中，不需要显式地指定DEFAULT CHARSET=UTF8，因为PostgreSQL默认的字符集就是UTF8。没有备注的一律会字段丢失，提示如下异常。
FLINK JDBC SQL Connector遇到的类型转换问题
monkeyboy_tech的博客
04-14 4703
背景 Flink 1.3 最近在写Flink Sql的时候，遇到了java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.Long 问题 分析 直接上报错的sql，如下： CREATE TABLE `xxx` ( `merchantId` BIGINT, `userId` BIGINT, `status` BIGINT ) WITH ( ); 具体的问题堆栈如下： java.lang.C
flink-sql所有数据类型-1.13
第一片心意的博客
08-02 6983
本文基于 flink 1.13 官网中的 flink sql 数据类型部分翻译整理，内容十分全面。
postgresql mysql数据类型_PostgreSQL 数据库的数据类型详细讲解 五
weixin_42393272的博客
02-09 772
PostgreSQL提供了丰富的数据类型，数据类型是我们在创建表的时候为每个字段设置的。这样做的好处是用户可以使用 CREATE TYPE 命令在数据库中创建新的数据类型。PostgreSQL 的数据类型有很多种，下面我们具体来讲解。复合类型复合类型表示一行或者一条记录的结构； 它实际上只是一个字段名和它们的数据类型的列表。PostgreSQL 允许像简单数据类型那样使用复合类型。比如，一个表的某...
Flink学习:Flink支持的数据类型
nzbing的博客
11-13 1333
Flink
flinksql-mysql数据类型
liuzhiquan_1025的专栏
11-10 2075
flinksql与mysql数据类型
Flink SQL UNNEST/UDTF 如何实现列转行?
微信公众号：大数据从业者
11-01 1313
在 SQL 任务里面经常会遇到一列转多行的需求,今天就来总结一下在 Flink SQL 里面如何实现列转行的,先来看下面的一个具体案例. 需求： 原始数据格式如下 name data JasonLee [{"content_type":"flink","url":"111"},{"content_type":"spark","url":"222"},{"content_t...
mysql int类型 对应pgsql里的什么类型
最新发布
11-07
<think>我们正在讨论MySQL的int类型在PostgreSQL中的对应类型。根据之前的引用和一般知识： 引用[1]提到PostgreSQL提供了丰富的数据类型，并且我们可以对比MySQL和PostgreSQL的数据类型。 引用[2]中虽然没有直接提到int，但提到了其他类型的对比，我们可以参考。 引用[5]给出了Java数据类型对应的数据库类型，其中提到： - Integer (Java) 对应 int2, int4, int8（根据范围不同） - MySQL的int通常对应Java的Integer，而PostgreSQL有多个整数类型：smallint（2字节），integer（4字节），bigint（8字节） 在MySQL中，int类型通常是4字节有符号整数，范围从-2147483648到2147483647。 在PostgreSQL中，相同范围的是`integer`（或简写为`int`），也是4字节整数。 另外，注意MySQL中的int(10)中的10只是显示宽度，不影响存储。而PostgreSQL没有显示宽度的概念，所以直接使用`integer`即可。 因此，MySQL的`int`类型在PostgreSQL中对应的是`integer`（也可以写成`int`）。 但是，如果MySQL中使用了无符号整数（unsigned），PostgreSQL没有无符号整数类型。这时，我们可以： - 对于小范围的无符号整数，可以使用更大的有符号整数（例如，MySQL的int unsigned范围是0到4294967295，而PostgreSQL的integer最大到2147483647，所以不够，需要使用bigint，即8字节整数，范围-9223372036854775808到9223372036854775807，可以覆盖0到4294967295的范围）。 - 或者，使用PostgreSQL的扩展模块，如`unsigned`扩展（需要单独安装，但非标准）。 根据问题，用户只问了int类型（没有提到unsigned），所以默认是有符号整数，对应PostgreSQL的`integer`。 注意：在之前的建表转换中，我们已经将`int(10)`转换成了`integer`。 所以回答： 在PostgreSQL中，与MySQL的`int`类型相对应的标准数据类型是`integer`（或`int4`）。该类型在两种数据库中都表示4字节整数。 如果需要转换MySQL的`int unsigned`，则需使用PostgreSQL的`bigint`类型（8字节，因为无符号int的最大值超出了PostgreSQL的integer的最大值）。 但是用户的问题只问了`int`（默认有符号），所以我们回答`integer`。 同时，根据引用[4]中提到的，Flink SQL在处理MySQL的BIGINT UNSIGNED时也遇到了问题，需要转换，这也印证了无符号整数在PostgreSQL中的处理需要特别注意。 因此，总结回答： MySQL的int类型（有符号）在PostgreSQL中对应integer类型（或简写为int）。 </think>### MySQL `int` 类型在 PostgreSQL 中的对应关系 根据数据类型对比分析（引用[1][2][5]），MySQL 的 `int` 类型在 PostgreSQL 中对应 **`integer`** 类型（也可简写为 `int`）。以下是关键细节： | 特性 | MySQL `int` | PostgreSQL `integer` | |------|-------------|-----------------------| | 存储空间 | 4字节 | 4字节 | | 数值范围 | -2,147,483,648 到 2,147,483,647 | -2,147,483,648 到 2,147,483,647 | | 无符号支持 | 支持 (`int unsigned`) | ❌ 不支持（需用 `bigint` 替代） | | 显示宽度 | 支持 (`int(10)`) | ❌ 忽略显示宽度参数 | | Java 映射 | `java.lang.Integer` | `java.lang.Integer`[^5] | #### 使用示例 ```sql -- MySQL 建表 CREATE TABLE example ( id INT(10) UNSIGNED NOT NULL ); -- PostgreSQL 等效建表 CREATE TABLE example ( id INTEGER NOT NULL -- 无符号需改用 BIGINT ); ``` #### 特殊注意事项 1. **无符号整数转换** MySQL 的 `int unsigned` 需转为 PostgreSQL 的 `bigint`（8字节）： ```sql -- MySQL: INT UNSIGNED → PostgreSQL: BIGINT ``` 2. **类型严格性** PostgreSQL 对整数类型有严格的子类型划分（引用[5]）： - `smallint`（2字节） - `integer`（4字节） - `bigint`（8字节） 需根据实际数据范围精确选择 3. **序列生成** MySQL `AUTO_INCREMENT` 对应 PostgreSQL 的 `SERIAL` 类型： ```sql -- PostgreSQL 自增字段实现 id SERIAL PRIMARY KEY ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

科学的N次方

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值