Beyond_Python的博客

AugmentTest对Evousite生成的测试用例进行处理，将其断言部分注释掉并替换为占位符，调用LLM对断言部分重新进行生成。AugmentTest有四种类型，分别是简单提示词+LLM，扩展提示词+LLM，简单提示RAG+LLM，简单提示词+RAG+LLM。实证研究后，扩展提示词+LLM类型表现最佳。LLM对结构化信息理解能力不强，结合RAG类型的AugmentTest表现不佳。

AAA模式，即安排、操作和断言，为单元测试用例提供了一个统一的结构，这有利于理解和维护。然而，对于现实生活中的开发人员是否以及如何在实践中遵循AAA构建单元测试用例，人们知之甚少。特别是，是否存在偏离AAA结构并值得重构的反复出现的反模式？并且，如果测试用例遵循AAA结构，它们是否会在A块（arrange块）中包含设计缺陷？如果我们建议重构来修复AAA测试用例的设计，开发人员如何接收这些建议？他们支持重构吗？如果没有，他们的考虑是什么？

提出了一个算法CODEMOSA，当传统的基于搜索的测试生成遇到覆盖率瓶颈的时候，可以求助于LLM，让LLM 生成更加合理的测试用例，从而逃离覆盖率的停滞。