- 博客(155)
- 收藏
- 关注
RSS订阅原创 Flink + Doris + Airflow 构建企业级实时报表统计平台方案
本文提出了一种基于Apache Flink、Doris和Airflow的实时+离线融合报表统计方案。该方案通过Flink实现流批一体计算（秒级延迟），Doris提供高性能分析查询（亚秒级响应），Airflow统一调度管理任务，构建企业级数据统计体系。实施步骤包括环境部署、数据接入层设计、实时计算层开发、Doris表模型设计、Airflow调度编排及报表监控搭建。相比传统DataX方案，该组合在时效性（支持秒级实时）、计算能力（支持复杂窗口计算）和查询性能（Doris向量化引擎）方面具有显著优势，适用于对数据
2025-12-20 10:38:07
636
原创 大数据量报表导出设计方案
摘要：针对SWMS和WMS系统大数据导出性能问题，提出基于SpringBoot多数据源的优化方案。方案包含3天快速实现核心功能，支持MySQL/PostgreSQL/SQL Server多数据源配置，提供CSV和EasyExcel两种动态列导出方式。CSV采用流式追加写入降低内存消耗，EasyExcel支持复杂格式但需复用Writer。部署采用单服务+Nginx代理架构，通过消息队列推送下载任务，Redis缓存任务状态，实现高效稳定的大数据报表导出功能。
2025-12-20 10:27:46
271
原创 基于 DataX + DataX-Web 生成报表数据
本文提出采用DataX结合DataX-Web构建报表数据生成平台，以解决数据库数据量增长导致的报表查询和导出效率问题。该方案提供Web可视化界面，支持任务配置、调度、监控与日志查看，具备定时执行、失败重试、告警通知等运维功能。通过建立标准化、可复用的报表数据生成流程，可有效降低开发和维护成本。测试示例展示了从MySQL源表到目标表的数据迁移配置，包含连接参数、查询SQL和目标表结构映射等关键信息。该方案将显著提升大数据量报表处理的自动化水平和执行效率。
2025-12-20 09:28:13
191
原创 SpringAI Chat Models
摘要：本文介绍了SpringAI框架的简单使用示例，包括Deepseek对话案例的实现步骤（环境配置、依赖引入、属性设置和控制器编写）。同时讲解了ChatModel API的统一接口功能，支持多厂商模型切换，并演示了基本聊天、流式聊天和运行时参数设置三种使用方式。开发者可通过SpringAI快速集成AI聊天功能，灵活调整模型参数，实现多样化交互需求。
2025-09-22 12:16:31
472
原创 Spring AI 基础知识
SpringAI是Spring官方推出的AI开发框架，旨在简化Java应用中大语言模型(LLM)的集成。它提供统一API支持OpenAI、Google等主流AI服务，实现聊天对话、文本嵌入等功能的无缝切换。框架深度集成SpringBoot，支持向量数据库、RAG应用开发，并具备类型安全、函数调用等特性。通过标准化接口和开箱即用设计，SpringAI显著降低了企业级AI应用的开发门槛，同时保持与Spring生态的无缝融合，为生产环境提供完整的可观测性和评估能力。
2025-09-22 12:13:52
1173
原创 ZGC垃圾回收
ZGC是Java 11引入的低延迟垃圾回收器，专为超大堆内存（TB级别）设计，目标是将停顿时间控制在10ms以下，同时保持高吞吐量。
2025-03-25 07:45:19
884
原创 MySQL压测
数据库配置并非随意设定即可，而需要基于项目的并发需求进行科学规划。首先，应对项目预期的并发情况进行基本评估，以此为依据选择合适的数据库服务器配置。接着，通过压力测试全面了解数据库的实际并发处理能力，确保其性能满足项目需求。在此基础上，再开展项目开发工作，从而避免因数据库性能瓶颈导致的问题，保障系统的稳定性和高效运行。
2025-02-20 07:55:20
775
原创 Redis
Redis 是一个开源的、使用 ANSI C 语言编写的、基于内存的数据结构存储系统，它可以用作数据库、缓存和消息中间件 。Redis 支持多种数据结构，如字符串（Strings）、哈希（Hashes）、列表（Lists）、集合（Sets）和有序集合（Sorted Sets），这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，并且这些操作都是原子性的。
2025-02-07 09:23:19
467
原创 RocketMQ优势剖析-性能优化
RocketMQ在性能优化方面展现出了许多独特的优点，这些优势使其在高吞吐量、低延迟以及可靠性等方面具有显著的表现。
2025-01-24 08:54:46
1342
原创 RocketMQ优势剖析-集成云原生环境
RocketMQ在集成云原生环境方面的优势主要体现在其设计的灵活性、扩展性以及对现代云计算基础设施的支持。
2025-01-23 08:54:14
1232
原创 RocketMQ优势剖析-支持多种语言客户端
RocketMQ在支持多种语言客户端方面展现了显著的优势，这使得它能够适应不同技术栈的需求，并且在跨平台和跨语言的集成中表现出了良好的兼容性和灵活性。
2025-01-23 08:53:47
603
原创 RocketMQ优势剖析-社区活跃度和支持
RocketMQ作为一个开源项目，在社区活跃度和支持方面展现了显著的优势，这对于一个技术产品的长期发展和广泛应用至关重要。
2025-01-21 08:57:20
595
原创 RocketMQ优势剖析-易于管理和运维
RocketMQ在设计时就考虑到了易于管理和运维的需求，这使得它不仅是一个高性能的消息队列系统，同时也为运维人员提供了便捷的工具和方法来管理集群。
2025-01-21 08:56:11
499
原创 RocketMQ优势剖析-强大的扩展性
RocketMQ在设计上充分考虑了扩展性，以支持大规模分布式系统的需求。其强大的扩展能力使得它能够轻松应对不断增长的数据量和请求量0
2025-01-18 11:30:57
749
原创 布隆过滤器
布隆过滤器（Bloom Filter）是一种空间效率非常高的概率型数据结构，主要用于判断一个元素是否在一个集合中。它能够快速告诉你某个元素“可能在集合中”或“绝对不在集合中”。这种机制特别适合用于需要处理大量数据且允许一定误报率的场景。
2025-01-16 08:28:33
1749
原创 RocketMQ优势
RocketMQ作为一种分布式消息队列系统，具有多个显著的优势，这些优势使其在处理高并发、大规模数据流以及复杂业务场景时表现出色。
2025-01-14 09:27:36
642
原创 ApplicationRunner、SmartLifecycle实现启动开启和优雅关闭
ApplicationRunner、SmartLifecycle实现启动开启和优雅关闭
2025-01-10 09:24:21
513
原创 Kafka优势剖析-灵活的配置与调优
Kafka 提供了丰富的配置参数，允许用户根据具体的业务需求和硬件环境对系统进行精细的调优。通过合理的配置和调优，可以显著提升 Kafka 的性能、可靠性和可扩展性。
2025-01-09 08:55:02
1574
原创 Kafka优势剖析-流处理集成
Kafka 的流处理能力是其生态系统中的重要组成部分，允许开发者构建实时数据处理应用程序。Kafka 提供了 Kafka Streams API 和 KSQL 两种主要的流处理工具，帮助用户轻松实现复杂的流处理任务，如实时数据分析、事件驱动架构、ETL（Extract, Transform, Load）等。
2025-01-09 08:54:39
1000
原创 Kafka优势剖析-幂等性和事务
Kafka 通过 幂等性 和 事务支持 提供了更强的消息传递保证，确保在生产者重试发送消息或多个操作需要原子性时，不会出现重复消息或不一致的情况。这两种机制对于构建可靠、一致性的分布式系统至关重要。
2025-01-07 08:46:19
1842
原创 Kafka优势剖析-无锁设计与多线程模型
Kafka 通过 无锁设计 和 高效的多线程模型，在处理高并发、高吞吐量的消息传递时表现出色。这两种设计不仅减少了系统的上下文切换和锁竞争，还提高了 I/O 操作的效率，确保了 Kafka 在大规模分布式环境下的高性能和低延迟。
2025-01-07 08:45:38
1357
原创 Kafka优势剖析-高效的数据复制
Kafka 的 高效数据复制机制 是其高可用性和容错性的核心保障。通过 ISR 列表、批处理复制、异步复制 和 零拷贝 等技术，Kafka 实现了高效的数据同步和传输，确保了消息的持久性和可靠性。同时，Kafka 还通过 压缩 技术减少了网络带宽的使用，进一步提升了系统的性能。
2025-01-06 09:06:46
1359
原创 Kafka优势剖析-消费者组、并行消费
Kafka 的 消费者组（Consumer Group） 和 并行消费 是其处理高吞吐量消息流的核心机制之一。通过消费者组，多个消费者可以协同工作，共同消费同一个主题的消息，从而实现并行处理和负载均衡。
2025-01-06 09:05:59
1499
原创 Kafka优势剖析-批量处理、异步提交、消息压缩
Kafka 的 批量处理、异步提交 和 消息压缩 是其能够处理高并发、高吞吐量消息的关键机制。批量处理减少了网络请求的次数，异步提交提高了消息发送的速度，而消息压缩则节省了网络带宽和磁盘空间。这三种机制的结合使得 Kafka 在处理大规模消息传递时表现出色，成为许多分布式系统和实时数据处理平台的首选。
2025-01-03 09:30:42
1675
原创 Kafka优势剖析-分布式架构
Kafka 是一个高度可扩展的分布式消息系统，其分布式架构设计使得它能够处理大规模、高吞吐量的消息传递，并且具备高可用性和容错性。Kafka 的分布式架构主要由以下几个关键组件和机制构成：
2025-01-02 08:58:20
1422
原创 Redission红锁
红锁（Redlock）旨在解决单点故障问题，即当使用单个 Redis 实例作为锁服务时，如果该实例发生故障，则所有依赖于它的锁都将失效。红锁通过在多个独立的 Redis 实例上创建锁来增加系统的可用性。
2025-01-02 08:57:43
1760
原创 Kafka优势剖析-顺序写、零拷贝
Kafka 的 顺序写 和 零拷贝 技术是其能够处理高并发、高吞吐量消息的关键因素。顺序写通过减少磁盘 I/O 的延迟，确保了消息能够快速地持久化到磁盘；而零拷贝通过减少数据拷贝的次数和 CPU 开销，提升了网络传输的效率。这两种技术的结合使得 Kafka 在处理大规模消息传递时表现出色，成为许多分布式系统和实时数据处理平台的首选。
2024-12-31 08:31:00
1644
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人