介绍用于软件测试的llm驱动工具

梅塔公布了 自动顺应强化工具 ,一个突变引导的LML测试生成系统。为了提高软件的可靠性和安全性,ACT在源代码中产生错误,随后创建检测和解决这些问题的测试。

传统的自动测试生成方法主要侧重于增加代码覆盖面。然而,这个焦点并不总是导致有效的故障检测。通过锁定特定的故障,而不是简单地试图覆盖更多的代码来改变这种方法。这个系统使工程师能够使用纯文本描述定义他们想要解决的问题类型,即使这些描述不完整或相互矛盾。然后自动生成故障(突变体)和相应的测试,设计来识别指定的故障。

突变测试包括有意引入控制故障以评估测试框架的有效性。然而,创建现实的错误和相应的测试一直是具有挑战性的。通过利用LLMS简化了这一进程:

1. 解释工程师对潜在故障的描述。
2. 在这些描述的基础上产生现实的错误。
3. 自动创建用于识别和处理这些故障的测试。

HAH系统遵循一个结构化的工作流来有效地生成和验证故障。它首先处理一个问题的自由形式的文本描述,这些描述可能来自各种来源,如以前的开发缺陷、用户需求、技术约束、监管合规需求或工程问题。然后,该系统采用三种基于LML的关键代理:

1. 断层发生器 :该代理根据提供的问题描述将模拟故障引入到代码中。
2. 等价检测器 :为了防止产生冗余故障,这个代理决定一个新引入的故障在语义上是否不同于原始代码。
3. 测试发生器 这个代理创建专门设计的测试用例来捕捉引入的故障。

Source: https://arxiv.org/pdf/2501.12862

梅塔已经在几个平台上实现了HAK,包括Facebook的提要、因特网信息系统、信使系统和什么样的应用程序。初步研究结果表明,ACT可以帮助工程师强化针对特定问题的代码,同时通过优化测试生成流程提供更广泛的好处。

印度SAP实验室的高级开发人员, 突出的 Ach的影响,指出:

自动顺应强化(ach)工具使用LLMS,通过自动生成代码突变和捕捉代码突变的测试,使软件测试发生革命性变化。一个真正的改变游戏规则的提高代码的可靠性和效率。测试用例不只是用于代码覆盖。

META的目的是扩大ACT的部署,改进变异相关性的测量方法,并改进故障检测机制。通过将LOM驱动的测试和故障生成集成到大型工业系统中,ACT是自动化软件测试的一大进步,有可能影响全行业的合规性和质量保证做法。