Towards LLM-based Root Cause Analysis of Hardware Design Failures

主要内容总结

本文探讨了大型语言模型（LLMs）在硬件设计故障根因分析中的应用，重点研究其对综合阶段和仿真运行时出现的设计问题及缺陷的解释能力。研究团队构建了包含34个错误场景的数据集（19个综合时错误和15个仿真运行时错误），并使用4个主流LLM模型（gpt-3.5-turbo、GPT-4o、o3-mini、DeepSeek R1）进行测试，通过人工评估模型对错误根因的识别和修复建议的准确性。同时，结合检索增强生成（RAG）技术提升模型性能，结果显示：o3-mini模型在pass@5评分中正确率达100%，其他模型在RAG辅助下性能多超过90%。此外，研究还构建了一个开源标注数据集，为后续相关研究（如自动化故障修复）提供支持。

创新点

1. 构建了一个包含综合时和运行时设计故障的开源标注硬件项目数据集（https://github.com/llm4hw/root-cause-bench），可用于其他研究任务（如自动化故障修复）。
2. 首次系统探索了LLMs在硬件设计故障根因分析中的应用，涵盖综合和仿真两个关键阶段。
3. 为LLMs在硬件设计领域的应用及评估提供了未来研究方向的见解。

翻译部分

Abstract（摘要）

随着大型语言模型（LLMs）的发展，出现了开发支持数字硬件设计流程工具的新机遇。本文探索了LLMs如何辅助解释综合和仿真过程中暴露的设计问题及缺陷的根因，这是LLMs在硬件设计流程及硬件安全分析中广泛应用的必要里程碑。研究取得了可喜的结果：在包含34个