在家造AI神器！OpenVINO™让桌面推理触手可及

作者：Adrian Boguszewski； 翻译：武卓

什么是 AI PC？

我不喜欢冗长的介绍，所以我尽量简洁明了。要了解我搭建的是什么，首先得解释一下什么是 AI PC。AI PC 是一台配备专门用于加速 AI 工作负载的硬件的计算机，意味着我们可以高效地运行包含 AI 模型的应用程序。就是这样！我们将看看如何组装它？

通过精选的软硬件，我将证明几乎任何类型的 AI 应用都可以在本地运行。希望你已经迫不及待想看看了！

组件选择

在选购硬件之前，我做出了一些假设：

• 本机用于运行 AI 推理（应用），不是深度学习训练

• 尺寸应尽可能小巧，便于移动

• 成本要控制在合理范围内

• 可选：尽可能支持安装双 GPU

鉴于上述需求以及我供职于 Intel，因此我决定尽可能选择 Intel 的硬件。

所需组件：

• 机箱

• CPU（中央处理器）

• 主板

• 内存（RAM）

• 散热系统

• GPU（图形处理器）

• 电源（PSU）

• 存储设备

注：我受到了这篇文章（https://www.intel.com/content/www/us/en/gaming/resources/how-to-build-a-gaming-pc.html）的启发。

机箱

首选中塔机箱，兼容 micro-ATX 主板，能容纳较长的 GPU，品牌不限。

CPU

我想尝试搭载 iGPU 和 NPU 的最新 Intel Arrow Lake 系列，于是选用了 Intel® Core Ultra 7 265K （https://www.intel.com/content/www/us/en/products/sku/241063/intel-core-ultra-7-processor-265k-30m-cache-up-to-5-50-ghz/specifications.html）。

主板

我需要一块带 FCLGA1851 插槽的 micro-ATX 主板，拥有至少两个间隔良好的 PCIe 插槽，以及四个 DDR5 内存插槽，品牌开放。

内存

64GB DDR5 内存起步，以支持大模型推理并兼顾未来扩展。

散热系统

任意适配机箱的风冷散热器，无品牌偏好。

GPU

我已有 Intel® Arc™ A770 16GB 显卡（https://www.intel.com/content/www/us/en/products/sku/229151/intel-arc-a770-graphics-16gb/specifications.html），同时也想体验较新的 Battlemage 系列，因此又选择了 Intel® Arc™ B580（https://www.intel.com/content/www/us/en/products/sku/241598/intel-arc-b580-graphics/specifications.html）。

电源

为了驱动整套系统，我选择了 1000W 以上的电源，接口要能满足主板、CPU 和双 GPU 的供电需求。

存储

1TB 的 NVMe M.2 固态硬盘，足够存储大型 AI 模型。

组装过程

我首先将 CPU 安装到主板插槽中，确保方向正确并牢固锁定。然后将 M.2 固态硬盘插入对应插槽，并用固定螺丝将其固定。

接着，我将内存条插入主板上的 DIMM 插槽，以启用双通道模式。随后安装了 CPU 散热器，并涂抹了导热硅脂，以实现最佳的导热效果。

完成主板预装后，将其固定进机箱，并将两块独立显卡插入 PCIe x16 插槽，同时安装电源并连接全部供电线缆。

最后连接前面板、数据和电源线缆，确保一切稳固连接后，系统准备上电并安装操作系统。

软件配置

硬件就绪后，接下来是验证性能的时候了。

操作系统

我是 Linux 爱好者，因此安装了 Ubuntu 24.10。

注：Windows 当然也是可以的 😉

驱动安装

初始系统只能识别 CPU，因此我参考自己写的博客安装驱动，让所有 GPU 和 NPU 被识别。

注：在 Windows 中通常会自动识别设备，但建议更新驱动。这里可以找到更多资料（https://www.intel.com/content/www/us/en/download-center/home.html）。

安装 OpenVINO™

用于模型优化和推理部署，Python 环境中通过 pip 安装最简单：

python3 -m venv venvsource venv/bin/activatepip install openvino

验证设备是否可用：

import openvino as ovcore = ov.Core()print(core.available_devices)print([core.get_property(device, "FULL_DEVICE_NAME") for device in core.available_devices])

输出为：

['CPU', 'GPU.0', 'GPU.1', 'GPU.2', 'NPU']['Intel(R) Core(TM) Ultra 7 265K', 'Intel(R) Graphics [0x7d67] (iGPU)', 'Intel(R) Graphics [0xe20b] (dGPU)', 'Intel(R) Arc(TM) A770 Graphics (dGPU)', 'Intel(R) AI Boost']

说明所有设备已就绪。

应用测试

我运行了三个 AI 应用来测试推理性能：一个视觉生成模型，一个聊天机器人，以及一个传统的目标检测应用。

1. Paint Your Dreams

这是一个文本生成图像的 GenAI 应用（https://github.com/openvinotoolkit/openvino_build_deploy/tree/master/demos/paint_your_dreams_demo ），输入提示词生成插画图像。

测试提示词：“草地上航行的帆船，背景是阳光明媚的早晨群山。”使用 OpenVINO/LCM_Dreamshaper_v7-fp16-ov 模型(5步) 

各设备耗时如下（单位：秒）：

• CPU：6.69

• iGPU：3.11

• NPU：3.67

• B580：0.21

• A770：0.26

每秒可生成约 4-5 张 512x512 图像。

注意：性能可能因使用方式、配置和其他因素而有所不同。请参阅下方的系统配置。

2. Virtual AI Assistant

这是一个 RAG 管线构建的聊天助手，用于医疗问答，但可配置为任意风格。

使用模型：

• LLM: meta-llama/Llama-3.2–3B-Instruct

• Embedding: BAAI/bge-small-en-v1.5

• Reranker: BAAI/bge-reranker-base

不同设备推理速度（单位：Token/s）：

• iGPU：20

• B580：63

• A770：66

远超人类平均阅读速度（约 5–8 tokens/s）。

注意：性能可能因使用方式、配置和其他因素而有所不同。请参阅下方的系统配置。

3. People Counter

用于目标检测的 Ultralytics YOLO11n 模型，输入尺寸 640x640，INT8 精度。

时延模式下帧率如下（单位：FPS）：

• CPU：42.1

• iGPU：72.4

• B580：115.5

• A770：210.2

• NPU：49.5

但上述是采用延迟模式进行的测试，该模式针对流式应用进行了优化。然而，如果我们一次性获取所有帧，例如处理一段完整视频时，就可以使用吞吐模式。我还使用以下命令对所有设备在吞吐模式下进行了测试：

benchmark_app -m yolo11n.xml -hint throughput -d CPU

吞吐模式下帧率：

• CPU：405.4

• iGPU：353.9

• B580：1963.8

• A770：918.5

• NPU：124.5

也就是说，一小时视频可在 29 秒内处理完！

注意：性能可能因使用方式、配置和其他因素而有所不同。请参阅下方的系统配置。

Bonus：AI 训练能力

该项目的目标是打造一台用于 AI 推理的电脑。自 PyTorch 2.5 起，Intel GPU 已支持训练。你只需使用将使用设备设置为“XPU”，如下所示：

model = model.to("xpu")data = data.to("xpu")

即可在 GPU 上训练模型，为这台 AI PC 增添新价值！

测试平台配置