【系列03】端侧AI：构建与部署高效的本地化AI模型 第2章：端侧AI硬件入门

第2章：端侧AI硬件入门

要成功地将AI模型部署到端侧设备，了解底层的硬件至关重要。不同的硬件在处理AI任务时各有优劣，选择合适的硬件平台是项目成功的关键第一步。

---

CPU、GPU和NPU在端侧的角色

在端侧设备中，我们通常会遇到三种主要的计算单元：

• CPU (中央处理器)：CPU是设备的“大脑”，负责执行通用计算任务。它能处理任何类型的指令，但因为其串行处理架构，在处理大规模并行计算的AI任务时效率较低。不过，对于简单的、低功耗的AI模型或需要复杂逻辑控制的任务，CPU仍是一个可靠的选择。
• GPU (图形处理器)：GPU最初是为处理图形渲染而设计的。它的核心优势在于大规模并行计算能力，能同时处理数千个线程。这使其非常适合AI模型的矩阵乘法和卷积运算。虽然GPU功耗通常较高，但对于需要高性能的端侧AI应用（如车载系统、高性能机器人）来说，GPU是首选的加速器。
• NPU (神经处理单元)：NPU是专门为AI计算设计的专用芯片。它通过精简指令集、优化内存访问，能以极高的能效比完成AI模型的推理任务。NPU通常无法像CPU和GPU那样执行通用计算，但它在处理AI任务时功耗极低，是智能手机、智能家居设备等对功耗敏感的端侧设备的首选。

---

主流移动AI芯片架构

各大芯片制造商都推出了各自的AI芯片架构，以满足不同端侧设备的需求：