文章主要内容总结
本文聚焦于在机密计算环境中部署蒸馏大型语言模型(LLMs)以支持片上系统(SoC)设计,核心内容如下:
- 研究背景:LLMs在SoC设计等计算机辅助设计(CAD)任务中应用广泛,但涉及的敏感数据(如RTL设计、电路规格)存在泄露风险。可信执行环境(TEEs)为保护数据和模型提供了可能,但现有TEE(如Intel SGX)难以高效支持资源密集型的LLMs。
- 实验设计:基于Intel信任域扩展(TDX)构建了三种环境(TEE-based、CPU-only、CPU-GPU混合),评估不同LLMs的性能(以每秒令牌数为指标),重点测试了蒸馏模型(如DeepSeek)、量化模型(4位Q4、8位Q8)及轻量级模型(参数<80亿)。
- 关键发现:
- 蒸馏模型(如DeepSeek)因参数规模小,在资源受限设备上性能更优;
- 量化模型(Q4、Q8)相比FP16模型性能提升最高达3倍;
- 小参数模型(如DeepSeek-r11.5B)在TDX环境中的性能优于纯CPU环境;
- 针对SoC设计任务的测试验证了轻量级LLMs在资源受限系统中高效部署的潜力。
文章创新点
- 首次评估TEE中的蒸馏LLM:首次在可信执行环境(TDX)中对蒸馏LLM进行全面性能评估,分析其在机密计算环境中的行为。
订阅专栏 解锁全文
1325



被折叠的 条评论
为什么被折叠?



