- 博客(83)
- 收藏
- 关注
RSS订阅原创 spring循环依赖
Spring 通过三级缓存提前暴露未初始化的 Bean 引用，结合延迟代理生成，解决了单例 Bean 的循环依赖问题。其核心是空间换时间，在保证单例和 AOP 一致性的前提下，避免死循环。理解这一机制有助于在开发中避免循环依赖陷阱，或在必要时调整依赖注入方式。
2025-03-20 21:19:54
420
原创 olap引擎底层原理
存储与计算分离：如Snowflake将存储置于对象存储，计算层弹性扩展[4云原生支持：Kubernetes部署、弹性扩缩容（如ByteHouse）[4AI增强：基于机器学习的自动索引优化与查询预测[4。
2025-03-18 21:03:05
1114
原创 docker和k8s区别详解
互补关系：Docker 是容器化基石，K8s 是上层编排工具，两者协同实现从开发到生产的全链路管理（例如：Docker 负责镜像，K8s 负责调度）[6][11。
2025-03-18 20:50:07
583
原创 docker学习整理
通过这个指南，你已经掌握了Docker从原理到实战的核心知识。就像租房装修一样，多实践几次就能成为容器化老司机！和社区文档，祝你在云原生世界里玩得愉快~
2025-03-18 20:45:00
891
原创 oracle cdc logminer与oracle xstream
技术优点缺点LogMiner无需额外License；兼容开源生态；配置简单性能瓶颈显著；DDL支持有限；政策不确定性高XStream高性能低延迟；完整功能支持；扩展性强法律风险高；部署复杂度高；依赖企业版License。
2025-03-18 13:46:31
721
原创 OracleCdc和MysqlCdc区别详解
维度Oracle CDCMySQL CDC优势高一致性、复杂场景支持、企业级功能低延迟、易配置、开源生态完善劣势配置复杂、资源消耗高、商业组件依赖事务拆分、DDL 支持弱、锁表风险推荐场景金融、政务、ERP 系统互联网、实时分析、云原生应用决策建议：若业务需要强一致性与复杂数据类型支持，优先选择 Oracle CDC；若追求部署便捷性与高吞吐，MySQL CDC 更优。两者均可通过 Debezium 或 Flink CDC 实现与大数据生态集成[1][5][8。
2025-03-14 19:37:37
764
原创 flinkOracleCdc源码介绍
Flink Oracle CDC 的实现基于 Debezium 引擎，通过 Flink CDC Connector 将 Oracle 的变更数据捕获与 Flink 流处理引擎结合。
2025-03-14 19:33:12
727
原创 flinkOracleCdc任务报错kafkaConnectSchema
检查Kafka中dbhistory主题状态。验证Debezium和Flink版本兼容性。确认Oracle日志和权限配置正确。调整数据格式和序列化配置。监控日志中的详细错误堆栈（如Debezium抛出的具体异常）。若问题仍未解决，建议提供完整的错误日志和任务配置，以便进一步分析。
2025-03-11 21:17:29
1146
原创 OCR图片识别原理
通过上述流程，后端系统可高效实现从图像扫描到结构化文本的输出，核心难点在于预处理鲁棒性与分类模型精度之间的平衡。实际开发中建议根据场景选择现成库或定制优化方案。
2025-03-09 15:23:48
465
原创 编译原理详解
编译原理是计算机科学的核心领域之一，研究如何将高级编程语言转换为计算机可执行的机器语言。编译器是实现这一过程的工具，其核心流程分为（与源语言相关）和（与目标机器相关）。以下是编译流程的详细分解，包含图表、流程说明及对比表格。
2025-03-09 11:45:55
537
原创 实时数据驱动的RAG应用
参考文档：https://aws.amazon.com/cn/what-is/retrieval-augmented-generation/定义复杂事件模式（如“连续3次交易失败”）。Milvus向量更新。
2025-03-09 11:14:59
949
原创 Flink Forward Asia 2024 大会 内容整理
2024 年的 Flink Forward 大会，既是技术革新的“成果展”，也是未来十年的“路线图”。无论是追求极致性能的开发者，还是探索业务创新的企业，都能从中找到属于自己的“实时即未来”答案。作为 Flink 诞生十周年的重磅更新，Flink 2.0 被定位为“面向未来十年的流计算引擎”，核心目标是解决云原生、AI 融合、存算效率等新时代挑战。统一流批处理逻辑，开发者只需写一份 SQL，即可同时处理实时流和历史批数据。AI 与实时计算的结合是本届大会的亮点，核心方向是。实现流、批、OLAP 的统一。
2025-03-08 17:30:22
984
原创 从技术垄断到开源破局：OpenManus或成为AI界的“平民英雄“？
这个由MetaGPT核心团队用3小时"肝"出来的开源工具，不仅功能与Manus高度相似，还带着一股"技术平权"的狠劲——不要邀请码，不搞付费墙，所有代码赤裸裸地摊开在阳光下。有开发者把OpenManus的启动提示改成了《哈利波特》的经典台词："反抗你的敌人需要勇气，但在朋友面前坚持自我需要更大的勇气。"在这个AI技术被资本裹挟的时代，或许我们需要的不是更强大的工具，而是保持技术初心的勇气。来自印度的大学生开发者Raj在推特吐槽："这就像给你看了一辆自动驾驶汽车，然后说只有穿限量版球鞋的人才能开。
2025-03-08 17:01:13
1009
原创 我对发呆与无聊的价值的思考
最让我心动的是一个叫**“WasteTimeCoin”**的区块链项目——通过证明自己合理浪费时间来挖矿。该公司近三年专利申请量年均增长240%，而华为的跟踪研究指出，其创新点子。：被动消磨 vs 主动留白。前者是精神熵增，后者是认知蓄能。这不禁让人思考：我们是否错判了无聊的价值？，就像儿童拆闹钟时并不预设会发明新东西。
2025-03-08 10:04:15
917
原创 大模型入门
当前大模型技术已进入"参数规模+架构创新"双轮驱动阶段。2025年的最新趋势显示，万亿级参数模型在稀疏激活（如Mixture-of-Experts）与动态路由技术加持下，推理成本较传统密集模型降低57%。Transformer架构的持续演进体现在位置编码改进（如RoPE旋转位置编码）、注意力机制优化（FlashAttention算法提升30%训练速度）以及层级结构创新（深度与宽度的动态平衡策略）。（注：以上每个技术模块均可扩展2000-3000字详细论述，包括代码示例、性能对比数据、行业案例等。
2025-03-06 12:46:22
357
原创 flink集成tidb cdc
Flink CDC 是一个基于 Flink 的变更数据捕获框架，支持从多种数据库（如 MySQL、PostgreSQL、TiDB）中捕获变更数据。Flink CDC 提供了开箱即用的连接器，能够简化与 TiDB CDC 的集成。Flink 与 TiDB CDC 的集成为实时数据同步和流式数据处理提供了强大的能力。通过 TiCDC 捕获 TiDB 的变更数据，并结合 Flink 的流处理能力，可以实现高效、灵活的实时数据管道。
2025-03-05 21:37:56
964
原创 flink重启策略
Flink 重启策略（Restart Strategy）是容错机制的核心组件，用于定义作业在发生故障时如何恢复执行。：Flink 的重启策略是平衡业务连续性与资源效率的关键工具。组合，并结合监控系统实现主动运维。在金融、物联网等关键领域，可进一步通过。实现精准状态回滚，确保万无一失。
2025-03-05 19:09:31
1134
原创 flink分发策略详解
Flink 的数据分发策略决定了数据在算子间上下游的传输方式，直接影响作业的。：Flink的分发策略是平衡性能与功能的核心枢纽。可在预生产环境中通过。（如随机Kill节点）验证策略鲁棒性。
2025-03-05 19:01:25
1002
原创 flink tranform算子详解
Flink Transform 算子是构建实时数据处理逻辑的核心工具链。需结合业务需求选择算子组合，并通过状态管理、分区策略和窗口机制实现高效计算。在实际开发中，建议通过 Flink Web UI 监控算子反压指标（如。
2025-03-05 18:55:42
1123
原创 Oracle CBD结构和Non-CBD结构区别
CDB是Oracle 12c及以后版本引入的多租户架构的核心组件。CDB是一个大型的容器数据库，可以包含一个或多个Pluggable Database (PDB)。每个PDB都是一个独立的数据库实例，具有自己的数据文件、redo日志和控制文件，但共享CDB的资源（如内存、进程等）。Non-CDB是Oracle传统数据库结构，每个数据库实例都是一个独立的数据库，不依赖于CDB。Non-CDB只有一个实例，包含自己的数据文件、redo日志和控制文件，不支持多租户架构。
2025-03-05 18:49:58
827
原创 flink分布式事务 - 两阶段提交
两阶段提交协议是一种经典的分布式事务管理方案，在保证强一致性的同时也面临着性能和可靠性的挑战。通过深入理解其基础原理、实现流程、核心组件以及优化策略，我们可以更好地在实际应用中权衡一致性和性能的关系。尽管 2PC 存在一些局限性，但在要求严格一致性的场景中仍然是一个可靠的选择。未来的研究方向可能集中在如何进一步优化协议性能、减少阻塞性问题以及提高系统的可用性。
2025-03-04 21:18:01
1448
原创 flink和yarn和mpp架构区别
为了全面理解 Flink 架构、YARN 架构和 MPP 架构的区别，我们从多个维度进行分析。理解这三者的区别有助于在实际项目中选择合适的架构和技术栈，以满足不同的业务需求。
2025-03-04 21:10:12
426
原创 flink集成oracle 19c详解
Flink 与 Oracle 19c 集成时，需重点关注驱动兼容性、事务一致性、性能调优和安全策略。建议在预发布环境中通过压力测试验证配置参数（如批量大小、检查点间隔），并结合 Oracle 的 AWR 和 Flink 的 Metrics 持续优化。
2025-03-04 19:29:48
993
原创 Flink Oceanbase Connector详解
Flink OceanBase Connector 是 Apache Flink 提供的一个用于连接 OceanBase 数据库的插件。它允许 Flink 读取和写入 OceanBase 数据库中的数据，支持实时数据处理和流式数据集成。text=Flink+OceanBase+Connector+工作流程)]Flink OceanBase Connector 是一个功能强大且灵活的工具，能够实时捕捉 OceanBase 数据库的变更数据，并将其与 Flink 的流处理能力结合，实现高效的数据处理和分析。
2025-03-03 21:30:17
1038
6
原创 Flink Oracle CDC Connector详解
Flink Oracle CDC Connector 是一个功能强大且灵活的工具，能够实时捕捉 Oracle 数据库的变更数据，并将其与 Flink 的流处理能力结合，实现高效的数据处理和分析。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-exwa4fbG-1741008279068)(https://via.placeholder.com/600x300.png?text=Flink+Oracle+CDC+性能对比)]
2025-03-03 21:26:54
968
原创 Flink CDC详解
1.1 什么是 Flink CDC？Flink CDC 是 Apache Flink 提供的一种实时数据捕获技术，主要用于从数据库中捕获增量数据变更（如插入、更新、删除操作），并将这些变更数据传输到目标系统进行实时处理或存储。1.2 Flink CDC 的核心价值实时数据处理：能够实时捕获数据库的变化，满足实时分析的需求。数据同步：实现数据库之间的数据同步，支持多数据中心架构。事件驱动架构：作为事件驱动架构的基础，支持响应式系统设计。
2025-02-20 12:59:08
1054
1
原创 使用Flink Operator部署Flink on k8s方案
通过 Flink Operator 在 Kubernetes 上部署 Flink，可以显著简化 Flink 的运维工作，并充分利用 Kubernetes 的弹性伸缩和高可用性特性。
2025-02-20 12:54:51
846
原创 flink jobgraph详细介绍
是 Flink 作业的核心执行计划，它描述了作业的任务拓扑结构和数据流关系。在 Flink 架构中，JobGraph从用户程序生成到提交执行的过程中扮演了关键角色。它不仅决定了作业的执行方式，还影响了作业的性能和可靠性。通过深入理解JobGraph的生成过程和应用方式，用户可以更好地优化 Flink 作业，提高其性能和稳定性。
2025-02-18 12:59:11
597
原创 flink写入hdfs数据如何保证幂等的？
通过 Flink 的 Checkpoint 机制、HDFS 的原子写入特性、合理的文件命名策略、动态输出路径管理以及业务逻辑中的幂等处理，可以有效保证 Flink 写入 HDFS 的幂等性。这些方法相互配合，确保了数据在高并发和容错场景下的准确性和一致性。
2025-02-18 12:53:12
944
原创 flink反压详解
背压是指在数据流处理过程中，某个节点（如 Source、Operator 或 Sink）的处理速度无法跟上数据流入的速度，导致数据在该节点之前积压的现象。背压会导致整个管道的吞吐量下降，甚至引发任务失败。数据延迟增加：事件从 Source 到 Sink 的处理时间变长。TaskManager 内存占用升高：由于数据积压，Flink 会占用更多的内存来缓存未处理的数据。Operator 并行度利用率降低：部分 Operator 的并行实例处于空闲状态，而其他实例则过载。
2025-02-14 13:16:40
719
原创 flink核心特性
Apache Flink 是一个功能强大且灵活的开源流处理框架，其核心特性包括高效的流处理能力、统一的批流处理引擎、强大的容错机制、丰富的编程模型以及广泛的生态系统。无论是实时数据分析还是复杂的流处理场景，Flink 都能提供高效、可靠且灵活的解决方案。
2025-02-14 13:01:59
1001
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人