- 博客(13)
- 收藏
- 关注
原创 Flink 运行模式与部署模式,一次讲清!
Flink的运行模式和部署模式决定了集群的构建方式和任务提交方式。运行模式包括Standalone、YARN和Kubernetes三种,决定集群资源管理方式;部署模式分为Application(独立集群)、Session(共享集群)和已弃用的Per-Job模式,影响任务隔离性和资源利用率。不同组合适用于不同场景:开发测试适合Session模式,生产环境推荐Application模式以获得更好隔离性。理解这些模式有助于合理规划Flink集群架构和任务调度策略。
2025-08-18 11:15:34
976
原创 FLINK TableAPI 读取 MySQL Year 类型数据,应该如何映射字段类型
我是 Porterxie,一个爱问为什么的程序员。最近在使用 flink-jdbc-connector 实现同构 & 异构数据采集 ,遇到如下问题:来源及目标库都是 Mysql,需要将来源表中 Year 类型字段采集到目标表 Year 类型字段中,那么应该使用 FLINK 什么类型来映射该类型?
2024-11-25 10:01:00
531
原创 Flink Sql 读取 SqlServer 关键字同名字段报错的问题
在数据集成时,肯定会存在数据表字段与内部字段冲突的情况,因为在数据库表层面来看,能建立这样的字段,就是合理的。而因为数据表字段与内部字段冲突引发报错的问题,建议官方进行文档的完善及给出相应问题修复方案。
2024-10-31 15:40:51
665
2
原创 Doris UNIQUE 表使用 Flink Doris Connector两阶段提交数据未写入分析
因此对于 UNIQUE 模型来讲,没必要去设置 'sink.properties.two_phase_commit' = 'true',因为一旦设置这个,在StreamLoad 导入时,就会将 two_phase_commit 设置到 http 的 header 中,Doris 就会认为开启了两阶段提交,但是 enable2PC 又为 false,就导致了事务没有提交,数据没有正在写入。顺便吐槽下 Doris 的官方文档,需要完善一下。
2024-10-17 17:04:28
1286
1
原创 Stable Diffusion & ComfyUI(二)
我是 Porterxie,一位对技术充满好奇的程序员。最近,我对 Stable Diffusion(下文中统称为 SD)以及 ComfyUI 进行了初步的学习和研究,想在这里分享下学习过程中的一些经验及理解。在 《Stable Diffusion & ComfyUI(一)》文章中,介绍了 SD & ComfyUI 平台选择上的知识,在本章我将介绍 SD & ComfyUI 安装部署的一些知识,在本系列的第三章中,我将详细介绍部署流程。
2024-09-29 09:10:09
817
原创 Stable Diffusion & ComfyUI(一)
我是 Porterxie,一位对技术充满好奇的程序员。最近,我对 Stable Diffusion(下文中统称为 SD)以及 ComfyUI 进行了初步的学习和研究,想在这里分享下学习过程中的一些经验及理解。在此之前,人工智能对我来讲,完全是一个陌生的领域,充满着神秘感,在脑海中没有一个清晰的认识,更别提其背后的原理。一次偶然的机会在抖音上看到一些基于 AI 生成的视频短片及视频转绘,让我觉得这玩意真的很酷,因我也打算试一试这坑。
2024-09-26 17:42:33
1506
原创 关于 AI (人工智能)那些事(三)
后续的话,我将重新开启新的 AI系列文章单独聊一聊开源 Stable Diffusion 以及 ComfyUI。这两者在生成图像和提升创作效率方面都有着显著的作用。Stable Diffusion 是一种强大的文本到图像生成模型,可以根据用户提供的描述生成高质量的图像。而 ComfyUI 则是一个用户友好的界面,使得使用 Stable Diffusion 变得更加简单和直观。
2024-09-20 11:04:19
786
原创 关于 AI (人工智能)那些事(二)
从 AlphaGo 到 ChatGPT,AI 技术正以惊人的速度进化,并逐步融入我们的日常生活。它不仅代表了技术上的革新,更是生活方式的转变。我们正处在一个 AI 改变世界的时代,这种变革不仅改变了我们与技术的关系,也深刻影响了社会的方方面面。未来,随着 AI 技术的进一步发展,我们的生活将变得更加智能和便利,同时也将面临新的挑战和机遇。
2024-08-29 15:20:18
1033
原创 关于 AI (人工智能)那些事(一)
我是 Porterxie,一位对技术充满好奇的程序员。最近,我对 AI(人工智能,下文中统称为 AI)进行了一些初步的学习和研究,想在这里分享一下关于 AI 的一些思考和个人见解。
2024-08-29 10:52:05
725
原创 关于分布式系统的一些理解及思考
相对单机系统(通常为单进程)部署在单个节点上而言,分布式系统通常由多个进程模块组成(可能分布在不同节点上)并且之间通过网络通信发生信息或数据的交换。分布式与集群有一定的相似点(都是由多个进程模块组成,且都可能分布在不同节点上),会产生一些混淆。
2023-12-06 15:57:05
1025
原创 如何理解 Java 中 volatile
我是 Porterxie,一个爱问为什么的程序员。今天要跟大家聊的话题是:Java 中 的 volatile。相信不论是在面试还是在工作中,大家都遇到过关于 volatile 的话题。volatile 这个话题其实很大,所涉及到的内容也很多:比如编译器、CPU 硬件层面的缓存及优化指令重排等等技术点。网上有很多介绍 volatile 的文章,所以关于这块的知识就简单过一下,今天我所要聊点主要是我在理解 volatile 时候遇到的一些问题以及我是如何理解 volatile 的。
2023-09-07 21:44:44
136
原创 Java 中 Char 占多少字节
我是 Porterxie,一个爱问为什么的程序员。今天要跟大家聊的话题是:Java 中 Char 占多少字节。其实在学习 Java 基础类型的时候,我们就已经知道 “Char 占用 2 个字节” 这样一个结论。当然,今天想要聊不是这样一个结论,而是想挖一挖 Char 字节占用背后的故事。
2023-09-06 14:00:28
513
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅