Precisely Detecting Python Type Errors via LLM-based Unit Test Generation

文章主要内容总结

本文针对Python中类型错误导致的运行时故障问题，提出了一种名为RTED（Reflective Type Error Detection with LLMs）的新型类型感知单元测试生成技术。现有静态分析工具存在高假阳性率，而现有单元测试生成技术（如基于搜索或LLM的方法）因缺乏针对性指导，难以生成能揭示类型错误的测试用例。

RTED通过三个核心阶段实现精确检测：

1. 约束分析阶段：通过调用链分析捕获上下文感知的类型约束，借助“错误寻找代理”反向传播约束，识别可能触发类型错误的输入类型，并评估调用链的风险等级；
2. 测试生成阶段：以入口方法为测试目标，结合类型约束和上下文信息（如类字段、相关方法），指导LLM生成针对性测试用例；
3. 反射阶段：通过三个专门代理（类型一致性检查、语义有效性检查、元评估）验证测试结果，过滤假阳性并迭代优化测试生成。

评估结果显示，RTED在BugsInPy和TypeBugs基准测试中，比现有技术（Pyinder、CHATTESTER等）多检测22-29个类型错误，精确率提升173.9%-245.9%，且在6个真实开源项目中发现12个未知类型错误，验证了其实用价值。

创新点

1. 上下文感知的类型约束分析：通过调用链反向传播类型约束，以Python基本类型和魔术方法（如__getitem__）构建结构化约束，缩小测试生成范围，聚焦潜在类型