What Is Next for LLMs? Next-Generation AI Computing Hardware Using Photonic Chips

文章主要内容总结

本文聚焦于光子芯片在下一代人工智能计算硬件中的应用，探讨其如何应对大型语言模型（LLMs）带来的计算与能效挑战，主要内容涵盖以下方面：

1. 现有计算架构的瓶颈

• 冯·诺依曼架构局限：传统电子硬件面临“内存墙”和“功耗墙”，训练如GPT-3等LLMs需消耗海量电能（约1300 MWh），未来模型可能需要城市级电力预算。
• 硅基工艺接近极限：晶体管尺寸缩小至3nm左右，电子芯片的速度和能效提升受限。

2. 光子计算硬件的核心进展

• 光子神经网络组件：

  • 微环谐振器（MRR）：支持波分复用（WDM）和光频梳生成，实现多波长信号并行处理，可作为神经突触权重矩阵。
  • 马赫-曾德尔干涉仪（MZI）阵列：通过相位调制执行光学矩阵向量乘法（MVM），级联后可实现高维酉矩阵分解。
  • 超表面（Metasurfaceÿ