- 博客(25)
- 收藏
- 关注
原创 【测试_概念-01_到底什么是回归测试和冒烟测试,一次性讲解清楚;】
冒烟测试在发版后快速验证核心功能是否可用,确保版本可继续测试;回归测试则在代码修改后检查原有功能是否被破坏。前者范围窄、用例少、耗时短,用于判断“能不能用”;后者范围广、用例多、常自动化,用于确认“有没有被改坏”。通常顺序为:先回归测试,再冒烟测试。
2026-10-28 09:29:06
140
原创 【Java架构_API服务_02_一次性讲解清楚接口服务中为什么不直接设置成ERROR级别】
如果只打 ERROR,你会陷入一个困境:出问题时手上没有任何上下文。比如你的看板某天数据不对,只看 ERROR 日志会发现——什么都没有(因为没抛异常,只是结果不符预期)。如果上线后觉得 SQL 日志太吵,把 mapper 那行调回 INFO 就行,不用动 root。ERROR-only 日志等于"平时全黑、出事了也只有一句异常栈"。日志不是"只有报错才用"——它的核心用途其实是在没报错的时候也能知道系统在干什么。设成某个级别,意思是打印该级别及以上的日志。日志级别是"阈值",不是"只打这一种"
2026-07-16 17:16:43
226
原创 【大模型_VibeCoding-概念_一次性解释清楚到底什么是skill】
什么是 Skill在与大模型协作的语境中,Skill(技能)本质上是一段被工程化封装的提示词(prompt)。它的主体仍然是自然语言指令——通常以一个 Markdown 文件(SKILL.md)的形式存在——描述"在某类任务中应当如何行事"。但与随手写下、用完即弃的临时提示词不同,Skill 在这段指令之外附加了三层结构,使其从"一次性的表达"升级为"可沉淀、可复用的能力单元"。一、可路由的触发机制。
2026-07-14 16:06:45
237
原创 【前端_框架-02_到底npm是什么,一次性解释清楚】
│ Maven Central │ npm registry(registry.npmjs.org) │ 中央仓库 │。│ mvn install │ npm install │ 按声明下载所有依赖 │。│ ~/.m2 本地仓库 │ node_modules/ 文件夹 │ 下载下来的依赖存放处 │。
2026-06-26 14:48:39
192
原创 【前端_框架-01_到底vue和react有什么区别,一次性讲解清楚】
Vue和React作为主流前端框架,都采用组件化、数据驱动和虚拟DOM等核心思想,但在实现方式上存在差异。React定位为灵活的UI库,使用JSX语法和手动响应式更新,适合追求自由度的开发者;Vue则是渐进式框架,提供模板语法和自动响应式追踪,学习成本更低。React生态更庞大,适合复杂应用和跨端开发;Vue官方工具链完善,适合快速开发。两者核心思路相通,掌握一种后另一种学习成本较低。选择时可根据团队偏好、项目需求和开发习惯决定。
2026-06-26 14:43:08
235
原创 【大模型_VibeCoding-概念_一次性解释清楚到底什么是VibeCoding】
这个词由 Andrej Karpathy 在 2025 年初提出而流行,他原话大意是:“完全沉浸在感觉里,接受指数级增长的代码量,甚至忘记代码本身的存在”——即你信任 AI、跟着感觉走,把精力放在想要什么效果上,而不是怎么实现。“Vibe”(氛围/感觉)这个词来自英语口语,原意是指一个人、一个地方或一件事散发出来的整体感觉、情绪基调或直觉印象。比如 “this place has a good vibe” 就是"这地方氛围不错"。
2026-06-23 17:05:09
272
原创 【大数据_数仓架构-DolphinScheduler_一次性讲解清楚如何用DolphinScheduler编排数仓任务】
工作流 ads_会员运营类。–工作流 ads_商家服务类。–工作流 ads_履约监控类。–工作流 dws_用户主题。–工作流 dws_店铺主题。–工作流 dws_商品主题。–工作流 dws_履约主题。–工作流 ads_经营看板。–项目ADS 【跨主题】–工作流 ODS_交易。–工作流 ODS_履约。–工作流 ODS_会员。–工作流 dim_用户。–工作流 dim_店铺。–工作流 dim_城市。–工作流 dwd_交易。–工作流 dwd_履约。–工作流 dwd_会员。
2026-06-22 17:35:30
286
原创 【Java架构_API服务-01_一次性讲解清楚接口服务中到底什么是P99和P9999】
P99和P9999是衡量系统延迟的百分位指标,分别表示99%和99.99%的请求快于该值,用于捕捉长尾延迟问题。相比平均值,百分位指标能更真实反映用户体验,尤其在高并发场景下,慢请求会被放大(如100次调用63%概率触发P99延迟)。典型优化手段包括对冲请求、缓存预热和熔断降级。监控时需注意P9999需百万级样本才有统计意义,且不能跨时间段平均计算。这些指标对保障分布式系统SLO至关重要。
2026-06-16 12:16:52
295
原创 【大数据_数仓架构-12_使用hive进行etl计算的背景下,累计快照事实表,如何创建,用电商场景举例】
本文介绍了在Hive中实现累积快照事实表的方法,重点解决Hive不支持UPDATE操作的问题。核心思路是采用全量覆盖+分区滚动策略:每日ETL流程将昨日未完成订单与今日新订单合并,通过LEFT JOIN关联各业务过程最新事件,使用COALESCE函数保留已有值或更新新值,最后用INSERT OVERWRITE重写分区。文章以电商订单履约场景为例,详细说明了表结构设计(按订单创建日分区、ORC存储格式)和ETL处理逻辑,包括时间字段更新和阶段时长计算。这种方法有效模拟了传统数据库的UPDATE功能,实现了订单
2026-06-11 13:47:51
187
原创 【大数据_数仓架构-11_到底周期快照事实表和累计快照事实表的区别是什么,使用场景是分别是什么】
【数据仓库建模核心概念】周期快照事实表与累积快照事实表对比摘要: 两种快照事实表本质不同: 周期快照表(如库存/余额)定期记录对象状态,行数随时间指数增长,只插入不更新,用于分析状态趋势变化 累积快照表(如订单/审批)跟踪业务流程生命周期,行数线性增长,会更新流程节点时间,用于分析阶段转化效率 典型应用场景: 周期快照:库存监控、账户余额、用户活跃度等需要时间序列分析的场景 累积快照:订单履约、审批流程、生产工序等有多阶段生命周期的流程分析 关键区别体现在数据增长模式、更新机制、时间维度设计和业务关注点等方
2026-06-11 13:22:54
120
原创 【大数据_数仓架构-10_事务事实表、汇总事实表、普通维度表、拉链表、累计快照、周期快照 都分别归属到数仓分层中的哪一个层级】
本文总结了数据仓库中各类型表在分层架构中的归属关系: 事务事实表主要归属DWD层,记录业务过程明细,如订单、支付等事务数据。 周期快照事实表主要归属DWD层(明细级),部分聚合后状态归DWS层。 累积快照事实表主要归属DWD层,记录业务全生命周期明细数据。 汇总事实表主要归属DWS层,体现轻度聚合结果,部分专属应用归ADS层。 普通维度表专属DIM层,包含基础维表、日期维表等。 拉链表(SCD2)主要归DIM层,用于历史维度分析。 各层核心定位: DIM层:维度表专区 DWD层:明细事实表专区 DWS层:汇
2026-06-11 11:25:10
158
原创 【大数据_数仓架构-09_到底存储到数仓中的表有几种,分别给出实际使用场景,并举出一个实例;】
【150字摘要】数据仓库中的表分为事实表和维度表两大类。事实表包括:1)事务事实表(记录一次性业务事件);2)周期快照表(定期状态快照);3)累积快照表(跟踪多阶段业务流程);4)无事实表(仅记录事件发生);5)汇总事实表(预计算聚合结果)。维度表主要存储业务对象属性,包括普通维度表(不保留历史变化)等。这些表类型共同构建数仓的数据模型,支持不同分析场景。
2026-06-11 11:15:44
232
原创 【大数据_数仓架构-08-到底DWD层的表是否应该存储指标】
【摘要】数据仓库DWD层应存储度量(Measure)而非指标(Metric/KPI)。度量是业务过程的原始数值(如单笔订单金额),具有可加性且与事实表粒度一致;指标则是经过聚合和业务定义的统计结果(如30天累计支付额)。DWD层作为明细事实表,需保持事件级粒度,避免存储跨行聚合、含业务规则的指标,否则会导致数据冗余、计算效率低下及分层职责混乱。正确做法是将派生指标置于DWS层,确保DWD层稳定性与计算性能。核心区别在于:度量是"原材料",指标是"加工成品"。
2026-06-11 11:01:36
202
原创 【大数据_数仓架构-07_ DWS建的表归属到是什么主题域,如何划分,举例】
本文深入分析了DWS表dws_cate_region_trade_1d的主题归属问题,提出了三种判断思路:类目主题、地区主题和交易主题。作者推荐将其归为交易主题(trade),因为该表本质是交易事实在类目和地区两个维度的交叉聚合,属于过程型主题而非对象型主题。文章给出了规范化的命名建议(dws_trade_cate_region_1d),并通过决策树和淘宝案例展示了完整的主题划分逻辑。最后强调DWS表命名必须清晰体现主题归属和粒度,这是数据仓库建模的重要规范。
2026-06-11 10:45:12
254
原创 【大数据_数仓架构-06_统计每天、每个省份、每个城市、鲜花品类、玫瑰花 下了多少笔订单,多少交易额,从ODS层一直建设到ADS层】
本文介绍了鲜花电商平台中玫瑰花的销售数据统计系统建设方案。系统采用分层架构设计,从源数据到最终报表的完整ETL流程包含: ODS层:直接接入订单库、商品库等源系统数据 DIM层:构建商品维度表(包含类目层级)和地区维度表 DWD层:创建订单支付明细宽表,关联商品和地区维度 DWS层:按"类目+地区+日"维度聚合交易数据 ADS层:生成面向业务的玫瑰花地域销售报表 核心实现包括: 商品维度打通三级类目(鲜花->玫瑰) 订单明细与商品、地区维度关联 最终输出各省市玫瑰花每日订单数和交易额指标 该方案通过维度建模
2026-06-11 10:36:32
278
原创 【大数据_数据架构-05_一次性讲解清楚到底ADS层和DWS层的区别是什么,如何划分】
本文摘要:DWS层与ADS层是数据仓库中容易混淆的两层。DWS层定位为公共汇总指标层,具有高度复用性、标准粒度和中性指标特点,服务于多个下游应用;ADS层则是专属应用结果层,包含业务规则、复合指标和特定业务粒度,为单一应用服务。关键判断依据包括复用性、业务规则、粒度标准、需求变更影响和最终用户类型。DWS层加工采用标准化聚合,而ADS层则实现业务规则落地。实际应用中,应根据表的复用程度和业务属性明确划分这两层边界。
2026-06-11 10:22:06
243
原创 【大数据_数仓架构-04_到底DWS层的主题域和DWD层的数据域有什么区别和联系】
数据仓库中DWD层(数据域)与DWS层(主题)的核心区别在于分析视角:DWD层以业务过程(动词)为中心记录事件明细,如"下单""支付"等;DWS层则以分析对象(名词)为中心聚合指标,如"用户""店铺"等宽表。二者通过"事件记录→对象分析"实现数据转换,DWD的稳定性业务过程为DWD提供唯一数据源,DWS通过跨域聚合、多周期窗口计算满足分析需求。典型区别体现在粒度(事件级vs对象级)、数据形态(事实表vs宽表)和驱动方(业务流程vs分析诉求)三个维度。
2026-06-10 17:52:25
176
原创 【大数据_数仓架构-03_到底ODS层的业务系统和DWD层的数据域有什么区别和联系】
数据仓库建模中,ODS层与DWD层的核心区别在于数据组织视角:ODS层按源系统划分(如交易、会员系统),保持原始数据结构和粒度;DWD层则按主题域和业务过程(如下单、支付)重组数据,进行清洗、标准化和粒度调整。关键差异包括: ODS保留源系统结构,DWD以业务需求为导向重构 ODS存在数据冗余,DWD确保单一业务过程对应唯一事实表 DWD层进行数据清洗、脱敏和维度退化等处理 二者紧密关联,DWD必须基于ODS加工,确保数仓与业务系统解耦,同时实现从技术视角到业务视角的转变。
2026-06-10 17:44:30
361
原创 【大数据_数仓架构-02_到底数仓ODS到ADS如何建设。使用淘宝商城举例,从ODS层一直建设到ADS层】
淘宝商城数仓分层建设方案采用经典五层架构(ODS→DWD→DWS→ADS),以订单、会员、履约三大核心域为例。ODS层保留原始数据,DIM层构建一致性维度(会员/商品/店铺维等),DWD层按业务过程建模(订单/支付/发货事实表),DWS层按主题聚合(用户/店铺宽表),最终ADS层支撑报表/API等应用场景。方案强调数据标准化(命名规范)、维度退化、数据清洗和分层复用,形成从源数据到应用服务的完整链路。
2026-06-10 17:26:36
247
原创 【大数据_数仓架构-01_到底为什么要进行数仓分仓】
数据仓库分层的核心价值在于通过结构化设计解决复杂性问题。首先,分层架构(ODS→DWD→DWS→ADS)实现处理流程解耦,各层专注单一职责,避免"烟囱式"开发。其次,通过中间层统一指标口径,预计算减少重复加工,提升查询性能与数据一致性。此外,分层设计能有效隔离源系统变更影响,保障下游稳定性,同时建立清晰的数据血缘便于问题追溯。从协作角度看,分层明确了数据工程师、建模师和分析师的职责边界,支持从原始数据到聚合报表的多粒度查询需求。本质上,分层是以空间换时间、规范换效率的系统工程方法,是数仓可持续运维的基础保障
2026-06-10 17:18:19
285
原创 【大模型_智驾-到底什么是自动驾驶数据闭环】
整体来看,自动驾驶数据闭环本质上是一套“用真实场景定义问题,用标注数据训练模型,用仿真+实车验证效果,用问题数据反哺迭代”的正向循环机制。从行业落地进度来看,数据闭环的运转效率(比如数据处理速度、标注成本)和边缘场景的覆盖度,直接决定了自动驾驶算法的成熟度,也是不同企业自动驾驶能力差距的核心来源。
2026-05-28 18:19:37
431
原创 【大数据_Flink-到底什么是Flink的反压,现象是什么,如何解决优化以及避免反压】
每个算子就是水管上的一个加工/开关节点,数据就是水管里的水,上游是水龙头,下游是接水的容器;正常情况下,上游出水速度和下游接水/处理速度匹配,水流通畅;如果下游接水太慢(比如容器太小、倒水太慢),水管里的水就会在下游前面积压,甚至撑爆水管;这时候下游就会给上游发信号「别倒了!我忙不过来」,上游就自动减慢甚至暂停出水。这个「下游给上游踩刹车」的自我保护机制,就是Flink的反压(Backpressure)[1]。本质就是。
2026-05-28 18:08:51
397
原创 【大模型_向量数据库-向量数据库在大模型LLM项目中的使用场景】
所有这些场景的本质,都是给LLM补全“外部语义记忆”和“精准匹配能力”:LLM本身是“闭卷考试”,只能靠训练数据内的知识答题,向量数据库就是给LLM准备的“开卷考试的参考资料库”,让LLM能基于最新的、私有的、精准的语义信息生成回答,解决幻觉、知识过时、无状态、上下文有限等核心痛点。
2026-05-28 17:37:11
377
原创 【大模型_向量数据库_Milvus-Milvus快速入门】
Milvus 是当前最主流的开源向量数据库,2.x 版本已完全云原生、生产可用,本教程基于编写,从环境搭建到可运行Demo全流程覆盖,新手10分钟即可跑通。
2026-05-28 17:30:37
328
原创 【大模型_向量数据库-向量数据库有哪些,MySQL的区别和联系,具体的应用场景有哪些?】
向量数据库有哪些,MySQL的区别和联系,具体的应用场景有哪些?
2026-05-28 17:26:11
896
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅