Assessing Large Language Models in Generating RTL Design Specifications

一、文章主要内容总结

该研究聚焦集成电路（IC）设计中“从RTL代码生成人类可读设计规范”这一未被充分探索的关键问题，针对传统人工编写规范效率低、易出错且缺乏自动化评估方法的痛点，开展了系统性研究：

1. 问题定位：当前LLM在“从规范生成RTL”（Spec-to-RTL）方向已有较多研究，但反向的“从RTL生成规范”（RTL-to-Spec）因需语义抽象、时序推理等特殊能力，且缺乏可靠评估手段，相关探索较少。
2. 核心方案：
   • 设计三类提示词策略：最小提示词（无结构约束）、规范感知提示词（明确硬件核心属性描述要求）、多步推理提示词（分分析-生成-自检三阶段）；
   • 提出两种硬件专用评估指标：GPT-RTL Score（从设计意图、I/O端口等5个硬件关键维度评分）、RTL重构分数（RR Score，通过验证“基于生成规范重构的RTL是否与原RTL功能等效”评估质量）；
   • 基于VerilogEval-V2和RTLLM-2.0基准，对GPT-5-Codex、Claude-Sonnet-4.5等商业模型及Qwen3-Coder、LLaMA-3.1等开源模型（覆盖不同参数规模）进行基准测试。
3. 关键发现：
   • 结构化提示词（尤其多步推理提示词）能显著提升规范质量，最小提示词表现最差；
   • 商业模型（如GPT-5-Codex）整体性能最优，大参数开源模型（如DeepSeek-V3.1）形成第二梯队，小参数模型（如LLaMA-3.