Dontla的博客

回归测试（Regression Testing）是软件测试中一个非常核心的概念。在软件代码发生修改后，重新运行之前的测试用例，以确认这些修改没有引入新的错误（Bug），也没有破坏原有的功能。这里的“回归”一词，源自统计学和数学中的“回归分析”，但在软件工程语境下，它更直观的含义是“防止软件质量退化/回退”。维度说明核心目的确保变更未破坏现有功能，维持软件质量的稳定性。最佳实践自动化。

在这段关于“评估解决方案质量”的语境中，Rubrics通常翻译为“评分准则”“评价量表”或“评分标准”。它不仅仅是一个简单的分数，而是一套结构化的评估指南。就像你文中提到的正确性 (correctness)、边界情况 (edge cases)、复杂度 (complexity) 和可读性 (readability)。对每个维度在不同水平下的表现进行具体定义（例如：什么是“优秀”，什么是“合格”，什么是“不合格”）。确保在评估大量样本时，不同的人（或AI）能使用同一把“尺子”来衡量，避免主观随意性。

选对工具：推荐 pytest，简洁高效。遵循原则：FIRST 原则 + AAA 模式。运用方法：等价类划分、边界值分析、状态转换。善用技巧：参数化、Fixture、Mock、覆盖率分析。避开陷阱：保持测试独立、简洁、可维护。记住，测试不是负担，而是你对代码质量的投资。今天多花 10 分钟写测试，明天就少花 2 小时排查 Bug。🧪✨。

在这里，flake是flaky test（不稳定测试 / 偶发故障）的简称。代码逻辑本身没有明显 bug，但测试结果或系统行为“时好时坏”、无法稳定复现的问题。结合你提供的上下文Keycloak 首次登录 flake现象：用户第一次登录 Keycloak 时，偶尔会失败（比如超时、重定向错误、Session 丢失等），但重试一次或者过一会儿又正常了。特点：不是必现的 Bug。

我自己踩了今早刚修过的同一类坑，而且是本地数据与 CI 全新租户的差异掩盖了它：getByText(“Applied”) 在 CI 里匹配到两个元素 —— 状态迁移按钮，以及「」这句提示。这句提示只在没有简历的租户里出现；我本地的测试用户有默认简历，所以本地永远看不到它。修法不是加 exact（按钮和徽章文本都是 “Applied”，切换瞬间会同时存在），而是断言状态机本身加 exact是什么意思？

第一个测试充当"环境哨兵"：它确保测试确实运行在 Agent Service 被故意关停的环境下，从而保证后续所有测试结果是有意义的，而不是在一个一切正常的完整系统上"走过场式地全部通过"。

冒烟测试（Smoke Testing）Build Verification Test（BVT，构建验证测试）Build Acceptance Test（构建验收测试）在新的软件构建（Build）完成后，先验证系统最核心的功能是否能够正常工作，以判断这个版本是否值得继续深入测试。它不是全面测试。“这个版本还能不能继续测？如果连登录都失败、服务都启动不了、数据库连不上，那么后面的功能测试就没有意义。冒烟测试就是版本的第一道质量门。冒烟测试可以理解为软件发布过程中的快速体检。

Tripwire 原本是军事里的术语。它指的是：在地上拉一根很细的线。平时没人注意。拉响警报引爆照明弹或触发陷阱软件里的 Tripwire 也是一样。平时它什么都不做。只要有人触碰了某个“不应该发生”的行为，它立刻报警。禁止 import legacy.api↓有人重新 import↓测试失败自动化警戒线（Guard Rail）禁止消费者重新 import 某个模块。例如：Consumer││└──── 自动分析后来业务改了。Consumer只负责消费消息↓。

负路径测试 = 故意喂坏数据，验证系统能"优雅地失败"而不是"悄悄地出错"。这是将 LLM 集成到生产系统时的关键防御手段——因为 LLM 的输出本质上是不确定的，必须用 schema 校验 + 负路径测试来兜底。

百分位数（Percentile）是统计学中的一个概念，用来描述一组数据的分布情况。第 N 百分位数（Pn）表示：有 N% 的数据小于或等于这个值。P50（中位数）：50% 的请求响应时间 ≤ P50P90：90% 的请求响应时间 ≤ P90P95：95% 的请求响应时间 ≤ P95P99：99% 的请求响应时间 ≤ P99百分位数指标是性能测试中最重要的衡量方式之一，它能够真实反映系统在不同用户群体下的表现。百分位数描述“分布”，不是“平均”P95 / P99 是性能评估关键指标。

A/B测试是一种常用的数据分析方法，用于比较两个或多个版本的变量（如网页、应用程序界面或营销信息），以确定哪个版本表现更好。它通过将用户随机分配到不同版本中，收集并分析用户行为数据，从而科学地验证哪些设计或策略更有效。

场景法是黑盒测试中一种高效、实用的测试用例设计方法，它通过模拟用户真实操作场景来覆盖系统的主要功能和异常情况。在实际测试工作中，应首先使用场景法验证核心业务流程，然后再通过其他方法对细节进行补充测试，从而确保软件系统的功能完整性和稳定性。

判定表（也称决策表）是分析和表达多逻辑条件下执行不同操作的情况的工具。它主要用于分析和表达在多种输入条件下，被测对象如何做出不同响应，能够清晰呈现复杂的业务逻辑关系和多种条件组合情况。如果输出相同，在其对应输入中，有且只有一个条件的取值对动作不产生任何影响，则可合并。例如，对于"构成三角形的条件如果不满足的话，结果都是非三角形，和下面三个条件无关"的情况，可以将相关规则合并，简化判定表。

等价类划分（Equivalence Partitioning）是黑盒测试中最常用的测试用例设计技术之一。它将输入数据划分为若干个等价类，从每个等价类中选取少量代表性数据作为测试用例，以达到用较少的测试用例覆盖尽可能多的测试场景的目的。核心思想：如果一组输入在程序中产生相似的行为，那么这些输入可以被视为"等价"的，归为同一个等价类。测试时只需从每个等价类中选取一个代表值进行测试。

边界值分析法是对输入或输出的边界值进行测试的一种黑盒测试方法。根据测试经验，大量的错误是发生在输入或输出的边界上，而不是发生在输入输出范围的内部。因此，针对各种边界情况设计测试用例可以查出更多的错误。

"略"是指在边界值基础上增加或减少一个精度值的点。如果输入是整数，"略小于最小值"就是最小值-1如果输入是浮点数，"略小于最小值"可能是最小值-0.0001这个"略"的值取决于具体的输入类型和精度要求。健壮性测试比一般边界值分析更全面，因为它不仅测试有效输入范围的边界，还测试了异常输入情况，能更好地发现软件的容错性问题。

注：以上测试用例基于质量模型设计，覆盖了功能性、性能效率、兼容性、易用性、可靠性、安全性、可维护性和可移植性等质量维度。实际测试时，应根据具体产品特性和需求进行调整。

Apache JMeter 是一款开源的性能测试工具，由 Apache 软件基金会开发，基于 Java 编写，主要用于对软件系统、服务器、网络或对象进行。通过 JMeter，开发者和测试人员可以全面评估系统的性能表现，发现潜在瓶颈，并优化系统以满足高并发场景的需求。

是 Python 中两个常用的测试框架，它们既有相似之处，也有显著的区别。

TDD是一种强调“

软件测试（Software Testing）是通过执行程序或系统，以验证其功能是否符合预期需求、发现潜在缺陷（Bug）并评估软件质量的过程。核心目标验证需求：确保软件满足用户需求和规格说明书。发现缺陷：识别代码、逻辑或功能中的错误。评估质量：判断软件的可靠性、性能、安全性等非功能性指标。降低风险：减少上线后因缺陷导致的故障或损失。软件测试是保障软件质量的关键环节，贯穿开发全生命周期。通过合理的测试策略、工具和流程，可以有效降低风险、提升效率，并为用户提供可靠的产品。

这些工具可根据项目需求组合使用，例如用Katalon生成脚本，结合Screenity录制操作视频，实现测试全流程覆盖。