大数据
文章平均质量分 76
君不见,青丝成雪
回首向来萧瑟处,归去,也无风雨也无晴
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
数据中台讲解第一部分
中台是解决“重复造轮子”问题的,如果只有一辆车(一个业务线),不需要修八车道高速。如果没有这套体系,A部门建一个“GMV”(成交总额),B部门建一个“总交易额”,口径对不上,就是“表哥表姐”吵架的根源。中台建公共层(DWD/DWS),各业务线有自己的数据开发(隶属业务线)负责ADS层,但需遵守中台规范。如果缺乏组织保障和“一刀切”的治理决心,数据中台往往会沦为“数据ETL工具集”,最终变成数据沼泽。同一套SQL逻辑,既可以跑离线T-1(前一天)数据,也可以跑实时数据,保证结果一致性。还是逻辑代码BUG?原创 2026-03-05 10:06:51 · 507 阅读 · 0 评论 -
基于gc.log与堆转储文件快速分析内存导致服务挂掉问题
如果有线程转储,可以结合分析:记住这个排查口诀:看日志(怎么死的)找对象(谁占的内存)搜代码(谁创建的)验增长(是否持续增长)按照这个流程,即使只有命令行,30分钟内也一定能找到问题根源!原创 2025-12-31 13:52:30 · 775 阅读 · 0 评论 -
核销与清分的区别
特性核销清分核心焦点单笔交易层面的债权债务结清 (收款 vs 发票)多笔交易、多方参与下的资金计算与分配 (谁该收/付多少)目的明确款项用途,更新账户状态,结清单笔债务/债权计算参与机构间的净应收应付款和手续费,为结算提供依据发生层面微观 - 企业会计系统 / 银行客户账系统宏观 - 支付清算系统 / 卡组织 / 大型支付平台操作主体企业财务人员 / 银行客户经理 / 系统自动匹配清算组织 (银联、网联、Visa等) / 支付平台清算中心。原创 2025-11-24 15:50:12 · 864 阅读 · 0 评论 -
网关整合验签
【代码】网关整合验签。原创 2025-11-13 00:09:02 · 342 阅读 · 0 评论 -
验签Interceptor与Aspect
这样可以确保安全校验在请求处理的最早阶段完成,既保证了安全性又提升了系统性能。原创 2025-11-13 00:01:40 · 309 阅读 · 0 评论 -
生产级HMACSHA256签名与验签案例
密钥管理使用HSM保护主密钥自动轮换(90天主密钥,24小时临时密钥)签名规范包含时间戳和随机数规范请求格式使用Base64 URL编码防御措施恒定时间比较重放攻击防护请求完整性检查性能优化多级缓存批量处理JNI加速监控审计实时异常检测签名失败告警密钥使用审计。原创 2025-11-12 23:40:20 · 888 阅读 · 0 评论 -
docker命令记录,日志(二)
Docker 支持多种日志驱动(json-file、syslog、journald等),主要适用于默认的 json-file 驱动。掌握这些用法可以大大提高容器化应用的运维效率。原创 2025-11-05 09:34:41 · 469 阅读 · 0 评论 -
Arthas单独记录篇二——命令
Arthas是一款强大的Java诊断工具,提供多种安装方式和丰富命令。安装支持在线脚本、包管理器、离线包、Docker及Maven/Gradle依赖等。主要命令包括:dashboard实时监控系统状态;thread分析线程问题;monitor统计方法调用;trace追踪调用链路;watch查看方法参数/返回值;stack分析调用路径;memory查看内存使用;jvm获取JVM信息;heapdump生成内存快照;jad反编译代码;mc编译代码;redefine热更新类。这些命令可快速诊断性能问题、内存泄漏等,原创 2025-11-05 00:23:58 · 992 阅读 · 0 评论 -
Deque取代Stack方案
【代码】【无标题】原创 2025-10-30 14:59:29 · 199 阅读 · 0 评论 -
docker命令记录(一)
该命令启动一个与Nacos配置中心集成的微服务,使用主机网络模式,配置了持久化存储和日志管理,并确保服务在异常退出时自动重启。这是一个Docker容器运行命令,用于在后台启动一个服务容器。原创 2025-10-23 16:07:16 · 220 阅读 · 0 评论 -
需求代码优化与单元测试检查项
原创 2025-10-16 09:59:43 · 266 阅读 · 0 评论 -
高效存储大List对象到Redis的解决方案,使用分片存储和压缩技术
【代码】高效存储大List对象到Redis的解决方案,使用分片存储和压缩技术。原创 2025-10-14 23:35:08 · 275 阅读 · 0 评论 -
六边形架构实现:领域驱动设计 + 端口适配器模式
下面是一个更详细的六边形架构实现方案,包含清晰的架构图和完整代码实现。这个方案严格遵循领域驱动设计(DDD)和六边形架构原则,实现环境无关的数据库服务接口。原创 2025-09-29 10:35:53 · 1119 阅读 · 0 评论 -
活动图讲解
fork、join节点与上面的决策、合并节点类似,都是将一个流程分叉成多个子流程链路,最终再合并到一起,不同的是,fork节点分叉出的子流程是并行执行的,也就是异步操作。6、泳道:将一个活动图中的活动状态分组,每一组表示一个特定的类、人或部门,它们负责完成组内的活动。4、判断(Decision):也可以理解为分支,对于同一触发事件,可以根据不同的条件转向不同的活动,每一个可能的转移都是一个分支。在活动图中,每个活动只能明确的属于一个泳道,泳道明确的表示了哪些活动是由哪些对象进行的。原创 2025-09-22 00:08:49 · 793 阅读 · 0 评论 -
时序图讲解
选项抉择循环中断并行关键弱顺序强顺序考虑忽略断言否。原创 2025-09-21 23:49:07 · 1538 阅读 · 0 评论 -
用例图讲解
用例图(英语:usecase diagram)是用户与系统交互的最简表示形式,展现了用户和与他相关的用例之间的关系。通过用例图,人们可以获知系统不同种类的用户和用例。用例图也经常和其他图表配合使用。用例图主要用来描述角色以及角色与用例之间的连接关系。说明的是谁要使用系统,以及他们使用该系统可以做些什么。一个用例图包含了多个模型元素,如系统、参与者和用例,并且显示这些元素之间的各种关系,如泛化、关联和依赖。它展示了一个外部用户能够观察到的系统功能模型图。原创 2025-09-21 23:45:27 · 957 阅读 · 0 评论 -
Spring Boot 3 + MyBatis-Plus + SelectDB整合方案
【代码】【无标题】原创 2025-09-21 23:15:29 · 415 阅读 · 0 评论 -
Apache Doris学习记录
介绍Apache Doris(原 Palo)是一个基于 MPP(大规模并行处理)架构的实时分析型数据库,专为高并发、低延迟的 OLAP(联机分析处理)场景设计。Apache Doris 作为一款高性能的实时分析型数据库,其核心高级能力覆盖了数据建模优化、查询加速、存储引擎设计、高可用性、实时处理等多个维度。以下结合技术特性与适用场景,系统梳理 Doris 的十大高级能力,以下从安装部署、核心概念、基础操作、高级功能到运维优化进行全方位解析,助力快速掌握 Doris 的核心使用。安装1. 环境要求。原创 2025-09-19 23:34:31 · 1148 阅读 · 0 评论 -
向量化执行引擎是啥?
总之,向量化执行引擎通过批处理、列式操作和硬件加速(SIMD),极大地提升了数据处理效率,是现代高性能分析型数据库不可或缺的核心技术。它通过改变数据处理的基本单位(从一行到一批行)和利用现代CPU的硬件特性来实现加速。向量化执行引擎是一种在现代数据库和分析型系统中用于。原创 2025-09-17 23:53:04 · 838 阅读 · 0 评论 -
Doris与Clickhouse分析
Doris 采用 FE(前端)与 BE(后端)分离的 MPP 架构,FE 负责元数据管理和查询规划,BE 处理存储与计算,支持自动扩缩容和故障恢复。ClickHouse 的更新/删除为异步操作,依赖后台 Merge 任务,可能导致短暂数据不一致,如删除用户后查询仍显示旧数据。Doris 提供三种模型:明细模型(原始数据存储)、聚合模型(预聚合加速查询)、唯一模型(主键去重),支持频繁更新的业务场景。腾讯:Doris 替换 ClickHouse 后,存储成本降低 42%,开发效率提升 40%。原创 2025-09-17 23:47:31 · 1186 阅读 · 0 评论 -
未来的证书之路(1)
AWS 和 。原创 2025-09-17 14:45:20 · 933 阅读 · 0 评论 -
Redis存储大Key最小化存储空间解决方案分析
该Java实现包含GZIP压缩/解压功能,通过Jedis连接Redis,测试用例展示5000字符JSON的压缩存储。原创 2025-09-13 00:31:53 · 292 阅读 · 0 评论 -
大数据与Java的云原生技术实现与原理分析——理论篇
本文深入探讨了大数据技术与Java生态在云原生环境下的融合应用,分析了核心实现原理与关键技术架构。文章将覆盖从基础概念到高级实践的完整知识体系,为开发者提供全面的技术参考。原创 2025-09-02 00:26:17 · 680 阅读 · 0 评论 -
MQ使用场景分析
典型用户案例:支付宝交易通知、菜鸟物流状态更新、钉钉消息推送等。原创 2025-09-01 23:57:00 · 387 阅读 · 0 评论 -
(未完结)阶段小总结(一)——大数据与Java
核心特征:(8)lambda,stream api,optional,方法引用,函数接口,默认方法,新时间Api,函数式接口,并行流,ComletableFuture。(9)模块系统,jshell命令工具直接写java代码,集合的of方法,接口的private方法,Stream的takeWhile和dropWhile,多版本兼容jar,optional新增ifPresentOfElse(),or(),更强大的获取进程信息,响应式流。(10)var局部变量类型推断,原创 2025-08-29 01:39:53 · 934 阅读 · 0 评论 -
RocketMQ的进阶问题
在注解方式下实现,需结合模式与自定义线程池控制。原创 2025-08-28 01:11:00 · 847 阅读 · 0 评论 -
RocketMQ重试队列与死信队列以及流程原理
。原创 2025-08-27 12:04:24 · 1366 阅读 · 0 评论 -
电商支付系统中使用flink进行风控管理案例
【代码】电商支付系统中使用flink进行风控管理案例。原创 2025-08-27 02:10:49 · 310 阅读 · 0 评论 -
自己实现重试队列
【代码】自己实现重试队列。原创 2025-08-27 01:41:57 · 263 阅读 · 0 评论 -
清分系统在电商中的一些案例
总而言之,清分系统是电商平台后台资金流转的“中枢神经”。它默默无闻地处理着每一笔交易背后的资金分配,确保了消费者支付后,商家、平台、推广者、物流方、支付机构等所有参与方都能准确、及时地收到自己应得的款项,是电商生态系统顺畅运行的基础设施。清分系统在电商交易中扮演着核心的后台资金处理角色,它负责在消费者完成支付后,根据预设规则,准确、及时地将交易资金拆分并分配给相关参与方。 消费者支付的“一笔”钱,实际上包含了需要分给不同主体的资金(如商家、平台、推广者、支付机构、税务等)。原创 2025-08-26 23:05:46 · 661 阅读 · 0 评论 -
SpringBoot项目占用内存优化
通过以上优化措施,典型Spring Boot应用的内存占用可以从1GB+降低到300-500MB,极端情况下甚至可以达到200MB以下。建议定期使用内存分析工具监控应用内存使用情况,持续优化。原创 2025-08-26 13:23:13 · 662 阅读 · 0 评论 -
SpringBoot启动优化
通过以上优化措施,典型Spring Boot应用的启动时间可以从10-20秒缩短到3-5秒,极端情况下甚至可以达到1秒以内。建议按照"诊断->优化->验证"的循环持续改进。原创 2025-08-26 13:02:42 · 358 阅读 · 0 评论 -
HDFS核心角色
HDFS(Hadoop Distributed File System)采用经典的Master/Slave架构,各角色分工明确,共同构建高容错性的分布式文件系统。原创 2025-08-26 12:58:36 · 725 阅读 · 0 评论 -
IK分词器
IK分词器(Intelligent Keyword Analyzer)是专为中文分词设计的开源工具,其核心采用与。原创 2025-08-26 12:52:36 · 485 阅读 · 0 评论 -
kafka消费顺序保障
Kafka本身只能保证(单个分区中的消息有序存储),但无法保证全局顺序性。原创 2025-08-26 12:48:23 · 691 阅读 · 0 评论 -
Flink的CheckPoint与SavePoint
两者共同构成Flink的容错与运维能力,Checkpoint保障实时可靠性,Savepoint提供灵活性运维支持。原创 2025-08-25 20:11:30 · 478 阅读 · 0 评论 -
项目架构分享 —— 离线数仓
为了满足不断变化的业务需求,实现系统的高度扩展性、灵活性以及数据展现的高性能。原创 2025-08-21 21:04:13 · 752 阅读 · 0 评论 -
大数据常见问题分析与解决方案
数据倾斜的解决需要根据具体场景采取针对性策略。以下从基础到高级分层解析解决方案:sqlCopy CodesqlCopy CodepythonCopy CodesqlCopy CodepythonCopy CodesqlCopy CodepythonCopy CodemermaidCopy CodescalaCopy CodepythonCopy CodejavaCopy CodemermaidCopy Code原创 2025-08-20 23:27:18 · 1040 阅读 · 0 评论 -
Flink双流join
Flink双流JOIN是指将两个独立的数据流按照关联条件进行实时匹配连接的操作,其核心挑战在于处理无限数据流和乱序事件15。原创 2025-08-20 22:21:49 · 1126 阅读 · 0 评论 -
Flink反压机制
原创 2025-08-20 22:16:51 · 171 阅读 · 0 评论
分享