- 博客(91)
- 收藏
- 关注
RSS订阅原创 FlinkUpsertKafka深度解析
特性通用 Kafka Connector主键要求必须定义 PRIMARY KEY无需主键数据变更支持支持 INSERT/UPDATE/DELETE仅支持 INSERT（Append-only）序列化配置需指定 Key 和 Value 格式仅需指定 Value 格式适用场景动态聚合、CDC 同步、幂等写入日志采集、一次性事件分区策略按主键分区按业务字段或随机分区典型错误未定义主键或格式不匹配导致报错无法处理更新操作通过上述对比可以看出，更适合需要处理数据变更的场景，而。
2025-04-27 19:59:27
726
原创 Flink维表深度解析
简单静态场景：预加载或广播维表。动态更新场景：外部存储查询或 Temporal Table Join。历史一致性要求：必须使用事件时间关联。语法是 Flink SQL 中管理时间版本的核心，正确区分处理时间与事件时间是保障关联结果准确性的关键。
2025-04-27 19:53:06
941
原创 FlinkSql入门与实践
Flink SQL 应运而生，它让开发者无需编写复杂的状态管理代码，就能实现实时ETL、复杂事件处理（CEP）、实时报表等场景。在大数据领域，流处理与批处理的界限正逐渐模糊。传统 SQL 是面向静态数据的查询语言，而现代实时业务要求对。捕获 MySQL 的变更数据（CDC），实时同步到 Hudi 数据湖。——随时间变化的表。与传统数据库表不同，动态表通过。实时流与外部维表（如 MySQL）关联时，需通过。实现模式匹配（如检测连续登录失败）。Flink SQL 的核心抽象是。
2025-04-25 12:44:55
1441
原创 Flink TaskManager详解
Apache Flink 的是作业执行的核心工作节点，负责实际的数据处理任务。它与 JobManager 协同工作，接受其调度指令，管理本地资源（如 CPU、内存、网络），并执行具体的算子（Operator）逻辑。TaskManager 的性能和配置直接影响作业的吞吐量、延迟和稳定性。本文将深入解析 TaskManager 的架构、核心功能及其优化实践。TaskManager 是 Flink 作业执行的“肌肉”，其设计兼顾了高性能、资源隔离和容错能力。
2025-04-25 12:39:05
1018
原创 FlinkJobmanager深度解析
Flink 是一个分布式流处理框架，其核心组件包括 JobManager、TaskManager 和客户端（如 CLI 或 Web UI）。JobManager是 Flink 集群的“大脑”，负责协调作业的整个生命周期，包括作业调度、资源管理、容错恢复等。本文将深入剖析 JobManager 的架构、核心功能及其在生产环境中的最佳实践。JobManager 是 Flink 集群的中枢，其设计融合了资源管理、作业调度和容错恢复等复杂逻辑。深入理解其内部机制，有助于优化作业性能、提升集群稳定性。
2025-04-25 12:12:51
963
原创 Kubernetes Multus CNI详细剖析
kind: Podmetadata:spec:Multus CNI 通过灵活的多网络接口管理能力，成为 Kubernetes 复杂网络场景的基石。无论是 NFV、边缘计算还是多云互联，Multus 均能提供可靠支持。未来随着云原生网络的发展，其在与 Service Mesh、eBPF 等技术的结合中将发挥更大潜力。
2025-04-23 19:24:11
891
原创 FlinkUDF用户自定义函数深度剖析
1.1 什么是 UDF？UDF 是用户根据业务逻辑自定义的函数，用于在数据处理过程中执行特定的操作。Flink 支持多种类型的 UDF，包括标量函数（ScalarFunction）、表函数（TableFunction）、聚合函数（AggregateFunction）等，覆盖了从单行数据转换到多行数据生成、分组聚合等多种场景。1.2 为什么需要 UDF？灵活性：处理复杂业务逻辑（如自定义加密、数据清洗）。性能优化：通过代码优化替代低效的 SQL 操作。复用性：封装通用逻辑，跨项目复用。扩展性。
2025-04-23 19:18:26
710
原创 ApacheJmeter使用权威指南
JMeter 是一款强大的工具，但需结合业务场景合理设计测试计划。建议从简单场景入手，逐步掌握参数化、关联和分布式测试等高级功能。JMeter 是一款开源的性能测试工具，支持HTTP、FTP、JDBC、SOAP等协议，广泛用于负载测试、压力测试和功能测试。生成动态值（如订单ID）。
2025-04-23 18:23:22
962
原创 spring循环依赖
Spring 通过三级缓存提前暴露未初始化的 Bean 引用，结合延迟代理生成，解决了单例 Bean 的循环依赖问题。其核心是空间换时间，在保证单例和 AOP 一致性的前提下，避免死循环。理解这一机制有助于在开发中避免循环依赖陷阱，或在必要时调整依赖注入方式。
2025-03-20 21:19:54
431
原创 olap引擎底层原理
存储与计算分离：如Snowflake将存储置于对象存储，计算层弹性扩展[4云原生支持：Kubernetes部署、弹性扩缩容（如ByteHouse）[4AI增强：基于机器学习的自动索引优化与查询预测[4。
2025-03-18 21:03:05
1171
原创 docker和k8s区别详解
互补关系：Docker 是容器化基石，K8s 是上层编排工具，两者协同实现从开发到生产的全链路管理（例如：Docker 负责镜像，K8s 负责调度）[6][11。
2025-03-18 20:50:07
969
原创 docker学习整理
通过这个指南，你已经掌握了Docker从原理到实战的核心知识。就像租房装修一样，多实践几次就能成为容器化老司机！和社区文档，祝你在云原生世界里玩得愉快~
2025-03-18 20:45:00
915
原创 oracle cdc logminer与oracle xstream
技术优点缺点LogMiner无需额外License；兼容开源生态；配置简单性能瓶颈显著；DDL支持有限；政策不确定性高XStream高性能低延迟；完整功能支持；扩展性强法律风险高；部署复杂度高；依赖企业版License。
2025-03-18 13:46:31
810
原创 OracleCdc和MysqlCdc区别详解
维度Oracle CDCMySQL CDC优势高一致性、复杂场景支持、企业级功能低延迟、易配置、开源生态完善劣势配置复杂、资源消耗高、商业组件依赖事务拆分、DDL 支持弱、锁表风险推荐场景金融、政务、ERP 系统互联网、实时分析、云原生应用决策建议：若业务需要强一致性与复杂数据类型支持，优先选择 Oracle CDC；若追求部署便捷性与高吞吐，MySQL CDC 更优。两者均可通过 Debezium 或 Flink CDC 实现与大数据生态集成[1][5][8。
2025-03-14 19:37:37
879
原创 flinkOracleCdc源码介绍
Flink Oracle CDC 的实现基于 Debezium 引擎，通过 Flink CDC Connector 将 Oracle 的变更数据捕获与 Flink 流处理引擎结合。
2025-03-14 19:33:12
843
原创 flinkOracleCdc任务报错kafkaConnectSchema
检查Kafka中dbhistory主题状态。验证Debezium和Flink版本兼容性。确认Oracle日志和权限配置正确。调整数据格式和序列化配置。监控日志中的详细错误堆栈（如Debezium抛出的具体异常）。若问题仍未解决，建议提供完整的错误日志和任务配置，以便进一步分析。
2025-03-11 21:17:29
1203
原创 OCR图片识别原理
通过上述流程，后端系统可高效实现从图像扫描到结构化文本的输出，核心难点在于预处理鲁棒性与分类模型精度之间的平衡。实际开发中建议根据场景选择现成库或定制优化方案。
2025-03-09 15:23:48
562
原创 编译原理详解
编译原理是计算机科学的核心领域之一，研究如何将高级编程语言转换为计算机可执行的机器语言。编译器是实现这一过程的工具，其核心流程分为（与源语言相关）和（与目标机器相关）。以下是编译流程的详细分解，包含图表、流程说明及对比表格。
2025-03-09 11:45:55
909
原创 实时数据驱动的RAG应用
参考文档：https://aws.amazon.com/cn/what-is/retrieval-augmented-generation/定义复杂事件模式（如“连续3次交易失败”）。Milvus向量更新。
2025-03-09 11:14:59
1022
原创 Flink Forward Asia 2024 大会 内容整理
2024 年的 Flink Forward 大会，既是技术革新的“成果展”，也是未来十年的“路线图”。无论是追求极致性能的开发者，还是探索业务创新的企业，都能从中找到属于自己的“实时即未来”答案。作为 Flink 诞生十周年的重磅更新，Flink 2.0 被定位为“面向未来十年的流计算引擎”，核心目标是解决云原生、AI 融合、存算效率等新时代挑战。统一流批处理逻辑，开发者只需写一份 SQL，即可同时处理实时流和历史批数据。AI 与实时计算的结合是本届大会的亮点，核心方向是。实现流、批、OLAP 的统一。
2025-03-08 17:30:22
1033
原创 从技术垄断到开源破局：OpenManus或成为AI界的“平民英雄“？
这个由MetaGPT核心团队用3小时"肝"出来的开源工具，不仅功能与Manus高度相似，还带着一股"技术平权"的狠劲——不要邀请码，不搞付费墙，所有代码赤裸裸地摊开在阳光下。有开发者把OpenManus的启动提示改成了《哈利波特》的经典台词："反抗你的敌人需要勇气，但在朋友面前坚持自我需要更大的勇气。"在这个AI技术被资本裹挟的时代，或许我们需要的不是更强大的工具，而是保持技术初心的勇气。来自印度的大学生开发者Raj在推特吐槽："这就像给你看了一辆自动驾驶汽车，然后说只有穿限量版球鞋的人才能开。
2025-03-08 17:01:13
1030
原创 我对发呆与无聊的价值的思考
最让我心动的是一个叫**“WasteTimeCoin”**的区块链项目——通过证明自己合理浪费时间来挖矿。该公司近三年专利申请量年均增长240%，而华为的跟踪研究指出，其创新点子。：被动消磨 vs 主动留白。前者是精神熵增，后者是认知蓄能。这不禁让人思考：我们是否错判了无聊的价值？，就像儿童拆闹钟时并不预设会发明新东西。
2025-03-08 10:04:15
942
原创 大模型入门
当前大模型技术已进入"参数规模+架构创新"双轮驱动阶段。2025年的最新趋势显示，万亿级参数模型在稀疏激活（如Mixture-of-Experts）与动态路由技术加持下，推理成本较传统密集模型降低57%。Transformer架构的持续演进体现在位置编码改进（如RoPE旋转位置编码）、注意力机制优化（FlashAttention算法提升30%训练速度）以及层级结构创新（深度与宽度的动态平衡策略）。（注：以上每个技术模块均可扩展2000-3000字详细论述，包括代码示例、性能对比数据、行业案例等。
2025-03-06 12:46:22
377
原创 flink集成tidb cdc
Flink CDC 是一个基于 Flink 的变更数据捕获框架，支持从多种数据库（如 MySQL、PostgreSQL、TiDB）中捕获变更数据。Flink CDC 提供了开箱即用的连接器，能够简化与 TiDB CDC 的集成。Flink 与 TiDB CDC 的集成为实时数据同步和流式数据处理提供了强大的能力。通过 TiCDC 捕获 TiDB 的变更数据，并结合 Flink 的流处理能力，可以实现高效、灵活的实时数据管道。
2025-03-05 21:37:56
1037
原创 flink重启策略
Flink 重启策略（Restart Strategy）是容错机制的核心组件，用于定义作业在发生故障时如何恢复执行。：Flink 的重启策略是平衡业务连续性与资源效率的关键工具。组合，并结合监控系统实现主动运维。在金融、物联网等关键领域，可进一步通过。实现精准状态回滚，确保万无一失。
2025-03-05 19:09:31
1248
原创 flink分发策略详解
Flink 的数据分发策略决定了数据在算子间上下游的传输方式，直接影响作业的。：Flink的分发策略是平衡性能与功能的核心枢纽。可在预生产环境中通过。（如随机Kill节点）验证策略鲁棒性。
2025-03-05 19:01:25
1055
原创 flink tranform算子详解
Flink Transform 算子是构建实时数据处理逻辑的核心工具链。需结合业务需求选择算子组合，并通过状态管理、分区策略和窗口机制实现高效计算。在实际开发中，建议通过 Flink Web UI 监控算子反压指标（如。
2025-03-05 18:55:42
1160
原创 Oracle CBD结构和Non-CBD结构区别
CDB是Oracle 12c及以后版本引入的多租户架构的核心组件。CDB是一个大型的容器数据库，可以包含一个或多个Pluggable Database (PDB)。每个PDB都是一个独立的数据库实例，具有自己的数据文件、redo日志和控制文件，但共享CDB的资源（如内存、进程等）。Non-CDB是Oracle传统数据库结构，每个数据库实例都是一个独立的数据库，不依赖于CDB。Non-CDB只有一个实例，包含自己的数据文件、redo日志和控制文件，不支持多租户架构。
2025-03-05 18:49:58
905
原创 flink分布式事务 - 两阶段提交
两阶段提交协议是一种经典的分布式事务管理方案，在保证强一致性的同时也面临着性能和可靠性的挑战。通过深入理解其基础原理、实现流程、核心组件以及优化策略，我们可以更好地在实际应用中权衡一致性和性能的关系。尽管 2PC 存在一些局限性，但在要求严格一致性的场景中仍然是一个可靠的选择。未来的研究方向可能集中在如何进一步优化协议性能、减少阻塞性问题以及提高系统的可用性。
2025-03-04 21:18:01
1530
原创 flink和yarn和mpp架构区别
为了全面理解 Flink 架构、YARN 架构和 MPP 架构的区别，我们从多个维度进行分析。理解这三者的区别有助于在实际项目中选择合适的架构和技术栈，以满足不同的业务需求。
2025-03-04 21:10:12
443
原创 flink集成oracle 19c详解
Flink 与 Oracle 19c 集成时，需重点关注驱动兼容性、事务一致性、性能调优和安全策略。建议在预发布环境中通过压力测试验证配置参数（如批量大小、检查点间隔），并结合 Oracle 的 AWR 和 Flink 的 Metrics 持续优化。
2025-03-04 19:29:48
1108
原创 Flink Oceanbase Connector详解
Flink OceanBase Connector 是 Apache Flink 提供的一个用于连接 OceanBase 数据库的插件。它允许 Flink 读取和写入 OceanBase 数据库中的数据，支持实时数据处理和流式数据集成。text=Flink+OceanBase+Connector+工作流程)]Flink OceanBase Connector 是一个功能强大且灵活的工具，能够实时捕捉 OceanBase 数据库的变更数据，并将其与 Flink 的流处理能力结合，实现高效的数据处理和分析。
2025-03-03 21:30:17
1102
6
原创 Flink Oracle CDC Connector详解
Flink Oracle CDC Connector 是一个功能强大且灵活的工具，能够实时捕捉 Oracle 数据库的变更数据，并将其与 Flink 的流处理能力结合，实现高效的数据处理和分析。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-exwa4fbG-1741008279068)(https://via.placeholder.com/600x300.png?text=Flink+Oracle+CDC+性能对比)]
2025-03-03 21:26:54
1070
原创 Flink CDC详解
1.1 什么是 Flink CDC？Flink CDC 是 Apache Flink 提供的一种实时数据捕获技术，主要用于从数据库中捕获增量数据变更（如插入、更新、删除操作），并将这些变更数据传输到目标系统进行实时处理或存储。1.2 Flink CDC 的核心价值实时数据处理：能够实时捕获数据库的变化，满足实时分析的需求。数据同步：实现数据库之间的数据同步，支持多数据中心架构。事件驱动架构：作为事件驱动架构的基础，支持响应式系统设计。
2025-02-20 12:59:08
1091
1
原创 使用Flink Operator部署Flink on k8s方案
通过 Flink Operator 在 Kubernetes 上部署 Flink，可以显著简化 Flink 的运维工作，并充分利用 Kubernetes 的弹性伸缩和高可用性特性。
2025-02-20 12:54:51
1065
原创 flink jobgraph详细介绍
是 Flink 作业的核心执行计划，它描述了作业的任务拓扑结构和数据流关系。在 Flink 架构中，JobGraph从用户程序生成到提交执行的过程中扮演了关键角色。它不仅决定了作业的执行方式，还影响了作业的性能和可靠性。通过深入理解JobGraph的生成过程和应用方式，用户可以更好地优化 Flink 作业，提高其性能和稳定性。
2025-02-18 12:59:11
614
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人