Evaluating LLMs and Prompting Strategies for Automated Hardware Diagnosis from Textual User-Reports

文章主要内容总结

本文聚焦于利用大型语言模型（LLMs）从用户文本报告（如“我的屏幕在闪烁”）中自动诊断硬件故障组件的任务，通过评估不同模型和提示策略，为硬件制造商提供高效的AI驱动诊断方案。

研究核心包括：

1. 评估对象：27个开源LLM（参数规模1B–72B）和2个专有LLM（如GPT-4、Gemini）。
2. 提示策略：零样本（Zero-Shot）、少样本（Few-Shot）、思维链（CoT）、思维链+少样本（CoT+FS）四种。
3. 实验规模：共执行98,948次推理，处理5100多万输入tokens，生成1300多万输出tokens。
4. 核心结果：最佳F1-score达0.76；推荐三个在性能与规模间平衡的模型——mistral-small-24b-instruct（24B参数）、llama-3.2-1b-instruct（1.2B参数）和gemma-2-2b-it（2B参数），其中小模型因低VRAM占用可高效运行于终端设备（如带NPU的笔记本或智能手机）。
5. 关键发现：CoT策略（尤其结合少样本）提升模型推理结构化能力；开源模型在数据隐私、成本控制上更具优势，适合硬件制造商集成。

创新点

1. 首次大规模评估：系统评估了27个开源LLM（覆盖多家族、多参数规模）和2个专有模型在硬件故障诊断任务中的表现，为该领域