目标:
构建需求→上线的全链路智能测试流程,从两个维度,进行智能化测试平台的建设:测试效率提升和测试质量跃迁,训练出具备测试知识问答、单元测试用例生成、功能测试用例生成、UI自动化用例生成、历史缺陷分析、测试策略动态调整等能力的专用大模型,最终释放人力和推动软件质量从“事后验证”向“事前预防”转型。
执行方案:
1.选用适配项目的LLM作为基座。
2.训练数据构建:
需求数据:隐私数据训练需通过联邦学习实现跨团队模型训练。
风险数据:隐私数据训练需通过联邦学习实现跨团队模型训练。
用例数据:打通XX用例管理平台,自动导入用例并标注“核心链路”标签。
代码数据:内部代码库、其他代码库等等。
3.训练数据处理:
降噪清洗:规则引擎过滤冗余格式,孤立森林算法剔除低质用例。
特征工程:按照业务优先级+技术复杂度,以及要覆盖的范围,形成监督指标,防止训练跑
偏。
增量学习:每日同步新增的数据和新的业务场景。
4.测试专用模型训练(关键节点,待完善):
a)优化提示工程
将提示词从one/few/zero-shot升级为“思维链”方案,显式引导路径规划、参数补全、断言生成
的完整推理链条。
b)多轮蒸馏优化
预训练通用测试模型→业务场景微调专用模型,通过“通用→领域→场景”多层知识迁移,压缩
模型参数规模,提升推理速度。
c)多模态输入融合
将需求文档、Swagger接口契约、UI原型图等转化为统一向量,通过跨模态注意力机制增强业
务理解。
d)RAG检索增强技术
构建测试的垂直领域的知识图谱,如XX业务规则、历史项目的缺陷bug等,基于Milvus等向量
数据库实时检索上下文,解决模型“幻觉”问题,例如智能XX会员购买测试时,能自动关联其他
项目出现的bug以供参考。
测试专用模型的落地应用以及预期价值:
1.需求分析阶段:
需求文档智能审查:检查需求描述的完整性、矛盾点,在需求产出阶段进行严格审查,减少
需求评审次数和讨论时间。
2. 技术设计评审阶段:
测试方案生成:根据新增代码或者全量代码、技术架构图自动生成端到端测试策略。
冒烟用例生成:在产品需求上传,代码全部提交送测时触发用例生成,联动Junit/Pytest执行
并同步报告.
3. 编码开发阶段:
代码缺陷预测:分析代码的提交历史,标记高风险模块,如前后代码逻辑不一致等。
自动化修复建议:结合静态分析工具生成修复代码,如如空指针异常处理建议、无限循环不释
放资源等。
4. 测试设计/执行阶段:
可测性评估:基于历史缺陷bug等数据,预测需求中存在的潜在风险模块。
测试数据建模:基于需求文档、业务规则,自定义的数据生成规则、约束条件等,结合定制化
的Prompt模板,生成相应的测试数据。
测试分析:根据业务迭代的历史文档、本次的需求文档等内容自动生成测试要点、测试流程图
等,辅助测试人员提供测试设计思路。
测试用例生成:根据以上信息,结合提交代码的接口规范生成测试用例,包括主流程功能用
例、边界值用例、异常流用例(非法输入,sql诸如等),同时生成标准的用例格式。
自动化脚本生成: 涉及到多模态融合,结合业内的成功案例,尝试进行自动化测试的智能
化,如输入自然语言描述或者批量上传被测页面图片,输出Selenium/Playwright脚本,即结合
图像识别(CV)验证UI渲染异常。
缺陷根因定位:结合日志、接口调用链和代码提交记录,构建缺陷传原因定位机制,推测问题
出现位置,快速定位并修复。
5.复盘优化:
项目或者需求上线后,第一时间将增量数据作为样本和知识库,给到大模型进行训练提升。
挑战:
需要具备对AI模型训练和微调的能力,转型为AI训练师,专注提示工程与结果校验能力。