数据分析小结:使用流计算 Oceanus(Flink) SQL 作业进行数据类型转换

Flink SQL中的操作符 1 操作符 1.1 Show与Use (1) Show(批处理和流处理) -- 显示所有 catalog SHOW CATALOGS; -- 显示当前 catalog 中所有的数据库 SHOW DATABASES; -- 显示当前数据库、Catalog中的所有表 SHOW TABLES; (2) Use(批处理和流处理) -- 为本次会话设置 catalog USE CATALOG mycatalog; -- 为会话设置一个属于当前 catalog 的数据库 USE mydatabase; 1.2 Sc 阅读详情

作者:吴云涛,腾讯 CSIG 高级工程师

 在这个数据爆炸的时代,企业做数据分析也面临着新的挑战, 如何能够更高效地做数据准备,从而缩短整个数据分析的周期,让数据更有时效性,增加数据的价值,就变得尤为重要。将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程(即 ETL 过程),则需要开发人员则需要掌握 Spark、Flink 等技能,使用的技术语言则是 Java、Scala 或者 Python,一定程度上增加了数据分析的难度。而 ELT 过程逐渐被开发者和数据分析团队所重视,如果读者已经非常熟悉 SQL,采用 ELT 模式完成数据分析会是一个好的选择,比如说逐渐被数据分析师重视的 DBT 工具,便利用了 SQL 来做数据转换。DBT 会负责将 SQL 命令转化为表或者视图,广受企业欢迎。此外使用 ELT 模式进行开发技术栈也相对简单,可以使数据分析师像软件开发人员那样方便获取到加工后的数据。

 Flink SQL 可以说是对 ELT 模式的一种支持,避免了使用 Java/Scala/Python 编程语言进行开发的复杂性。并且 Flink SQL 采用的是开源的  Apache Calcite 来实现对标准 SQL 语法的支持,没有额外的 SQL 语法学习成本。腾讯云 流计算 Oceanus[1] 是基于 Apache Flink 构建的企业级实时大数据分析平台,提供了可视化的 SQL 作业,降低了数据分析团队的数据获取难度。数据分析团队只对 SQL 熟悉也能完成数据的清洗与分析工作,使团队更专注业务数据的分析工作。Flink SQL 作业的创建,可参考之前的文章 Flink 实践教程:入门 1-零基础用户实现简单 Flink 任务[2]。本文主要对数据转换过程中 Flink SQL 作业中常用的类型转换函数进行了总结。 

常用类型转换函数

  • CAST(value AS type)   将某个值转为 type 类型。  type 类型可参考 Flink 官方网站 Data Types[3] 章节。 

    示例测试语句: SELECT CAST(var1 AS VARCHAR) FROM Test;  

    测试数据和结果:  

    测试数据(INT var1)测试结果 VARCHAR
    58'58'
  • CAN_CAST_TO(str, type)  判断 str 字符串是否可以被转换为 type 指定的类型,返回值为布尔型。返回值可以在 CASE 语句中作为条件使用。 

    示例测试语句: SELECT CAN_CAST_TO(var1, type) FROM Test;  测试数据和结果:True  

    测试数据(VARCHAR var1)测试数据(VARCHAR type)测试结果(BOOLEAN)
    123456INTEGERtrue
  • DATE_FORMAT_SIMPLE(timestamp, simple_format)  将 BIGINT(long)类型的字段(必须是以毫秒为单位的 Unix 时间戳)以 Java 的 SimpleDateFormat 支持的时间格式化模板转为字符串形式(输出时区为:GMT+8)。 

    示例测试语句: SELECT DATE_FORMAT_SIMPLE(unix_ts, 'yyyy-MM-dd HH:mm:ss') FROM Test;  测试数据和结果:    

    测试数据(unix_ts)测试结果 VARCHAR
    16279979370002021-08-03 21:38:57
  • DATE_FORMAT(timestamp, format)  将 Timestamp 类型的字段以 Java 的 SimpleDateFormat 支持的时间格式化模板转为字符串形式。 

    示例测试语句: SELECT DATE_FORMAT(timestamp, format) FROM Test;  测试数据和结果:  

    测试数据(timestamp)测试数据(format)测试结果 VARCHAR
    2021-01-01 12:13:14yyMMdd210101
    2021-01-01 12:13:14yyyyMMdd20210101

    TIMESTAMP_TO_LONG(timestamp) 或 TIMESTAMP_TO_LONG(timestamp, mode)  将某个 TIMESTAMP 类型的参数转为 BIGINT (Long) 类型的值。若 mode 为 'SECOND',则转为以秒来计数的 Unix 时间戳,例如1548403425。若 mode 为其他值或者省略,则转为以毫秒计数的 Unix 时间戳,例如1548403425512。

  • UNNEST 列转换为行,常常用于 Array 或者 Map 类型。将某1个字段数据转为多个。示例测试语句: SELECT userId, productImage FROM Test1, UNNEST(productImages) as t(productImage);  

其中 productImages 为 Test1 表中 ARRAY<String> 类型字段。UNNEST 函数也可以用 UDTF 函数替代,可参考文章 《Flink 实践教程:进阶9-自定义表值函数(UDTF)》。  测试数据和结果:  

测试数据(userId INT, productImages ARRAY<VARCHAR>)测试结果(INT, VARCHAR)
100, ['image1', 'image2']100, 'image1'100, 'image2'

其他类型转换函数

  • DATE string  以“yyyy-MM-dd”的形式返回从字符串解析的 SQL 日期。 

  • TIME string  以“HH:mm:ss”的形式返回从字符串解析的 SQL 时间。 

  • TIMESTAMP string  以“yyyy-MM-dd HH:mm:ss[.SSS]”的形式返回从字符串解析的 SQL 时间戳。 

  • UNIX_TIMESTAMP(string1[, string2])  使用表配置中指定的时区将格式为 string2 的日期时间字符串 string1(如果未指定默认情况下:yyyy-MM-dd HH:mm:ss) 转换为 Unix 时间戳(以秒为单位)。

  • TO_DATE(string1[, string2])  将格式为 string2(默认为 ‘yyyy-MM-dd’)的字符串 string1 转换为日期。

  • TO_TIMESTAMP_LTZ(numeric, precision)  将纪元秒或纪元毫秒转换为 TIMESTAMP_LTZ,有效精度为 0 或 3,0 代表 TO_TIMESTAMP_LTZ(epochSeconds, 0), 3 代表TO_TIMESTAMP_LTZ(epochMilliseconds, 3)。

  • TO_TIMESTAMP(string1[, string2])  将 ‘UTC+0’ 时区下格式为 string2(默认为:‘yyyy-MM-dd HH:mm:ss’)的字符串 string1 转换为时间戳。 

总结  

参考 Flink 官方网站实现其他类型的字段处理,具体参考 Flink 系统(内置)函数[4]。我们也可以通过用户自定义函数(UDX):自定义标量函数(UDF)、自定义表值函数(UDTF)、自定义聚合函数(UDAF)来完成更复杂的 Flink SQL 作业的数据处理工作,具体参考之前的文章 Flink 实践教程:进阶8-自定义标量函数(UDF)[5] 等。   

阅读参考:

[1] 流计算 Oceanus: https://cloud.tencent.com/product/oceanus  

[2] Flink 实践教程:入门 1-零基础用户实现简单 Flink 任务:https://cloud.tencent.com/developer/article/1895677  

[3] Flink Data Types: https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/types/  

[4] Flink 系统(内置)函数:https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/table/functions/systemfunctions/  

[5] Flink 实践教程:进阶8-自定义标量函数(UDF):https://cloud.tencent.com/developer/article/1946320  

[实战-11] FlinkSql 设置时区对TIMESTAMP和TIMESTAMP_LTZ的影响 设置flink程序运行期间得时区,flink的内置数据类型TIMESTAMP(3), 我们设置水位线都是基于TIMESTAMP(3)类型,当我们flinkSql 查询flink表的时候,因为时区不同 TIMESTAMP 展示给我们的字符串也是不同的。mysql时区是Asia/Shanghai。 阅读详情

相关推荐

腾讯Oceanus实时计算平台架构设计

腾讯Oceanus实时计算平台架构设计—学习总结 一、背景 实时计算应用主要分为以下四类: (1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。 (2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持方便灵活的报警规则设置。 (3)实时BI:及时运营策略。 (4

xingdianp的博客 1301

Flink SQL 入门和实战

文章目录一.Flink SQL 背景二、Flink SQL Hello_world三、Flink SQL 的语法和算子3.1 Flink SQL 的语法3.1 常用算子3.1.1 滚动窗口语法3.1.2滑动窗口3.1.3 Session Window 一.Flink SQL 背景 Flink SQL 是 Flink 实时计算为简化计算模型,降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。 自 2015 年开始,阿里巴巴开始调研开源流计算引擎,最终决定基于 Flink 打造新一代计算

小梁 1018

FlinkSQL 列转行/解开map array/unnest/lateral table udtf

将Map展开为多列多行。 基于UDTF 结果示例 2 将数组展开为单列多行。 基于UNNEST 基于UDTF 结果示例 3 将Array展开成多列多行 end

Top5软件工程硕士,先后在京东、字节从事多年Java后端开发、实时和离线大数据开发 8366

flinkSQL 建表设置水位线时间格式转换 & flinkSQl滚动窗口

flinkSQL 建表设置水位线时间格式转换 & flinkSQl滚动窗口

weixin_45408791的博客 1428

目标检测: 一文读懂 YOLOX

论文:YOLOX: Exceeding YOLO Series in 2021 论文链接:https://arxiv.org/pdf/2107.08430.pdf 代码链接:https://github.com/Megvii-BaseDetection/YOLOX. 文章目录1 为什么提出YOLOX2 YOLOX 网络架构3 YOLOX 实施细节3.1 backbone3.2 neck3.3 Head3.3.1 Decoupled Head3.3.2 Anchor-free3.4 如何计算Loss3.5 如

weixin_46142822的博客 3万+

PostGIS 小白入门详细指南

PostGIS 是 PostgreSQL 的一个扩展,它将 PostgreSQL 转变为一个功能强大的空间数据库,使其能够存储、查询和分析地理空间数据。PostGIS 遵循开放地理空间联盟(OGC)的标准,支持各种空间数据类型和操作,如点、线、多边形、缓冲区、空间连接等。存储各种空间数据类型(如几何类型和地理类型)空间索引,提高查询性能丰富的空间函数和操作支持投影和坐标系统转换城市规划与管理环境监测与分析物流与运输优化地图制作与可视化位置服务与导航。

落魄书生的职业学习生涯 1万+

Flink 实践教程-入门(8): 简单 ETL 作业

流计算 Oceanus ETL 作业降低了用户的使用门槛,用户零代码即可完成数据的清洗过程。

cloudbigdata的博客 2329

USB2.0协议解读

就写到这吧,其他协议层等属于软件需要了解的东西了。简单看了下,本文总结的有点乱,有两个原因吧,其一是理解的不够透彻,无法用简单明了的语言总结;其二是感觉这个协议文档章节划分的也不是很好,有点大杂烩。

qflook的博客 3674

Flink 实践教程-进阶(7):基础运维

本文介绍了常见 Flink 问题和解决方法,以及常见的运维手段。

cloudbigdata的博客 3681

安装西门子TIA Portal V15.1提示先决条件不足如何处理?

安装TIA Portal STEP 7 Professional WinCC Professional V15.1提示先决条件不足,需要如何才能够满足安装条件呢? 1.硬件要求: 安装 STEP 7 Basic / Professional V15.1 的计算机必须至少满足以下需求: 处理器: Core i5-6440EQ 3.4 GHz 或者相当 内存: 16GB或者更多(对于大型项目,为32GB) 硬盘:SSD,配备至少50GB的存储空间 图形分辨率:最小 1920 x 1080 显示器:15.6"

Robot_PLC_HMI_Automation 2万+

OpenClaw实战一|企业微信AI客服数字员工:自动应答+工单创建+数据统计,零代码3天落地

OpenClaw做企业微信AI客服数字员工,真正的价值不是“能自动回复”,而是把“咨询-应答-工单-统计-复盘”全流程闭环。对中小企业来说,不用招专职AI开发、不用买昂贵客服系统,一台服务器、零代码配置,就能拥有媲美大厂的智能客服能力。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 518

基于流计算 Oceanus(Flink) CDC 做好数据集成场景

作者:黄龙,腾讯 CSIG 高级工程师数据时代,企业对技术创新和服务水准的要求不断提高,数据已成为企业极其重要的资产。无论是在在企业数据中台的建设,亦或者是打造一站式数据开发和数据治理的P...

cloudbigdata的博客 3082

【TCN回归预测】TCN时间卷积神经网络数据回归预测(多输入单输出)【含Matlab源码 2317期】

TCN时间卷积神经网络数据回归预测 完整的代码,方可运行;可提供运行操作视频!适合小白!

订阅付费专栏Matlab(奶茶价版)或下载付费资源,可赠送奶茶价版付费专栏指定代码1份; 823

Flink 实践教程 - 入门(4):读取 MySQL 数据写入到 ES

作者:腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。 本文将为您详细介绍如何使用 MySQL 接入数据,经过流计算 Oceanus 对数据进行处理分析(示例中采用小写转换函数对name字段进行了小写转换),最终将处理

cloudbigdata的博客 1663

【云原生】阿里云SLS日志自定义字段标签实现日志告警

样例:一个典型的java log初始化日志格式把日志中的INFO提取出来做为一个标签,在开源日志框架中,配置采集器实现- regex:在阿里云SLS日志服务同样可以实现,首先我们进入到一个日志库,查看数据接入,我这里使用的是Logtail工具在【处理配置】中,选择【处理插件组合】,新增提取字段插件原始字段:填写要被提取的日志,对应原始字段的内容做正则结果字段:正则表达式对应的捕获组对应结果:捕获组 匹配内容 说明1 ywgy-app-service 服务名称。

CN_Eden 743

精读204页华为的流程管理(文末附下载链接)

链接:https://pan.baidu.com/s/1eEwdBR5c0PIxkOrNhDZcGg?pwd=wha2 提取码:wha2 复制这段内容后打开百度网盘手机App,操作更方便哦。,以提升企业运营效率和竞争力,同时解决了诸多业务痛点,为华为的全球化发展提供了有力支撑。华为的流程管理对其发展起着关键作用,通过构建完善的流程体系,提升了企业运营效率与竞争力。华为的流程管理在企业发展中至关重要,其围绕。,并通过流程变革不断优化。在流程管理过程中,强调。构建了全面的流程体系。

cdfunlove的博客 284

Flink 实践教程-入门(6):读取 PG 数据写入 ClickHouse

作者:腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。 本文将向您详细介绍如何获取 PostgreSQL 表数据,并使用字符串函数进行转换,最后将数据输出到 ClickHouse 中。 操作视频 前置准备 创建流计算

cloudbigdata的博客 4430

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

腾讯Oceanus实时计算平台架构设计---学习总结

一、背景 实时计算应用主要分为以下四类: (1)ETL:ETL应该是目前实时计算最普遍的应用场景。例如在TDBank的数据链路中,TDSort读取消息缓存系统Tube中的消息,通过流数据处理系统将消息队列中的数据进行实时分拣,并落地到HDFS接口机集群,并将最终分拣后的数据由加载到TDW中。 (2) 监控系统: 监控系统需要能够对产品和服务进行多维度的监控,对指标数据进行实时的聚合和分析,并支持...

流的博客 7070

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Flink 实践教程-进阶(2):复杂格式数据抽取

使用 Flink SQL 抽取 Kafka JSON 格式数据

cloudbigdata的博客 757

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Flink 实践教程-入门(7):消费 Kafka 数据写入 PG

作者:腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。 本文将您详细介绍如何利用 Python 脚本发送模拟数据到 CKafka 中,之后取 CKakfa 的数据经过简单的算术函数转换存入到 PostgreSQL 中。

cloudbigdata的博客 2581

使用腾讯云 Flink 实时 ETL 快速入门

一、流计算 Oceanus 限量秒杀专享活动 二、什么是ETL ETL(Extract,Transform,Load)描述了将数据从源端经过抽取、转换、加载至目的端的过程。 企业收集到的原始数据通常存在数据缺失、数据结构混乱等问题,难以直接用来分析或计算。通过补充缺失的数值、修正偏差的数值、拆分字段、转换类型以及使用用户自定义函数等方式,ETL 能够将数据加工为规整、可用的形式。使用腾讯云流计算 Oceanus 开发 ETL 作业时,用户只需选择数据源表和目的表,并根据业务逻辑完成字段映射的配置,即可实现

I'm a 软件工程师 709

流批一体数据开发平台选型:除了Flink和Spark,还有哪些选择?

支持 Kafka、Pulsar、RabbitMQ、RocketMQ、MQTT、WebSocket、CDC(MySQL/Oracle/SQL Server/达梦/金仓/OceanBase/GaussDB)、Webhook 等。基于六性(完整性、一致性、准确性、唯一性、时效性、有效性)设置检测规则,通过血缘分析定位根因,通过问题清单实现闭环管理。5.0 版本新增实时计算模块和数据质量模块,覆盖实时数据集成、实时数据分析、实时数据预警、业务系统实时数据交换四大场景。数据集成和数据治理能力需要外接其他腾讯云产品。

Leo的博客 152

常用实时数据平台推荐:Flink之外,这6款产品值得一看

本文梳理了6款主流实时数据平台产品的特点与适用场景。Flink作为底层计算引擎,在实际应用中仍需数据源连接、任务运维等配套能力。各平台差异化显著:帆软FineDataLink主打低门槛可视化开发,支持双引擎架构和国产数据库;阿里云Flink侧重云原生生态集成;腾讯云Oceanus适配腾讯云技术栈;华为云CloudStream专注信创场景;袋鼠云StreamWorks提供Flink可视化开发;滴普FastData聚焦实时数据湖场景。选型需考虑企业技术能力(有无Flink团队)、行业特性(如制造业MQTT需求)

Leo的博客 94

【面试】数据平台产品经理面试知识点总结

距离上次写作已经过去3年,还是要保持写作的习惯。本人从事金融科技行业,有4年左右的数据平台产品经理经验,25年3月起陆续面试了几家公司,写一下面试总结及知识点。建发 厦门安踏 厦门平安银行 深圳招商银行 深圳MarkdownText-to-HTMLAuthorsJohnLuke。

Mr_charm的博客 1522

Apache Beam 剖析

1.概述  在大数据的浪潮之下,技术的更新迭代十分频繁。受技术开源的影响,大数据开发者提供了十分丰富的工具。但也因为如此,增加了开发者选择合适工具的难度。在大数据处理一些问题的时候,往往使用的技术是多样化的。这完全取决于业务需求,比如进行批处理的MapReduce,实时流处理的Flink,以及SQL交互的Spark SQL等等。而把这些开源框架,工具,类库,平台整合到一起,所需要的工作量以及复杂度...

HuFeiHu 776

Flink Table和SQL的表和视图、Connectors和timestamp数据类型

目录1. catalog、表和视图2. 触发计算的API3. 查询优化 1. catalog、表和视图 catalog由catalog名称和数据库名称组成,默认为:default_catalog.default_database 连接外部数据系统通常用createTemporaryTable,中间结果表通常用createTemporatyView,如下所示: tEnv.createTemporaryTable("table_name", tableDescriptor) tEnv.createTempora

Bulut0907 3657
上一篇: Flink 实践教程-进阶(8):自定义标量函数(UDF)
下一篇: Flink 实践教程-进阶(9):自定义表值函数(UDTF)
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值