【OpenVINO™】在英特尔® 酷睿™ Ultra AI PC 上使用OpenVINO™ GenAI部署多种图像生成模型快速实现文生图功能

1. 前言

1.1 英特尔® 酷睿™ Ultra 处理器(第二代)

全新英特尔酷睿Ultra 200V系列处理器对比上代Meteor Lake,升级了模块化结构、封装工艺,采用全新性能核与能效核、英特尔硬件线程调度器、Xe2微架构锐炫GPU、第四代NPU…由此也带来了CPU性能提升18%,GPU性能提升30%,整体功耗降低50%,以及120TOPS平台AI算力。

酷睿Ultra 200V系列处理器共有9款SKU,包括1款酷睿Ultra 9、4款酷睿Ultra 7以及4款酷睿Ultra 5,全系8核心8线程(4个性能核与4个能效核),具体规格如下。

58e2c01af4412ce82c359088a11434d

作为新一代旗舰,酷睿Ultra 9 288V性能核频率最高5.1GHz、能效核频率最高3.7GHz,拥有12MB三级缓存。GPU方面,集成锐炫140V显卡,拥有8个全新Xe2核心、8个光线追踪单元,频率最高2.05GHz,可以实现67TOPSAI算力。而NPU集成6个第四代神经计算引擎,AI算力提升至48TOPS。

图片

本文是用KHARAS(深圳市世野科技 https://www.khadas.com/product-page/mind-maker-kit-lnl) 提供基于英特尔酷睿Ultra的AI PC,只有435g, 以下为其参数:

图片

主要特点

  • Intel® Core™ Ultra Processor Series 2

  • AI Performance: up to 115 TOPS

  • NPU: 4.0 AI Engine, up to 47 TOPS

  • GPU: Intel® Arc™ 140V, up to 64 TOPS

  • 32GB LPDDR5X Memory, 1TB PCIe SSD

  • Copilot+ PC: Windows AI assistant

  • Battery Life Optimization

  • WiFi+ Bluetooth: AX211D2

处理器信息如下表所示:

设备 规格 参数
CPU 名称 Intel® Core™ Ultra 9 288V
内核数 8(4个性能核+4个低功耗高效内核)
总线程数 8
最大睿频频率 5.1 GHz
缓存 12 MB Intel® Smart Cache
支持的人工智能软件框 OpenVINO™, WindowsML, DirectML, ONNX RT, WebNN
GPU 名称 Intel® Arc™ Graphics 140V
显卡最大动态频率 2.05 GHz
GPU 峰值 TOPS(Int8) 67 TOPS
支持的人工智能软件框架 OpenVINO™, WindowsML, DirectML, ONNX RT, WebGPU, WebNN
NPU 名称 Intel® AI Boost
NPU 峰值 TOPS(Int8) 48 TOPS
支持的人工智能软件框架 OpenVINO™, WindowsML, DirectML, O
OpenVINO是Intel开源的人工智能框架,它提供了一套工具和库,使得开发者能够高效地将模型部署到各种硬件平台上,包括CPU、GPU、FPGA和Myriad VPU等。GenAI是Intel针对其平台优化的一系列预训练模型集,它包含了经过调整和优化的模型,可以快速应用于各种AI应用,如计算机视觉、语音识别等。 使用OpenVINOGenAI一般分为以下几个步骤: 1. **下载和安装**:首先从Intel官网下载最新版本的OpenVINO Toolkit,包括Model Optimizer工具,用于将模型转换为OpenVINO兼容的IR(Intermediate Representation)格式。 2. **获取模型**:访问GenAI模型仓库,选择适合自己应用场景的预训练模型。这些模型通常提供了TensorFlow、Keras或其他标准格式,你需要用Model Optimizer将其转换为OpenVINO IR。 3. **模型转换**:使用Model Optimizer将下载的模型转换为`.xml`和`.bin`文件,这是OpenVINO运行所需的基本文件。 4. **配置环境**:设置OpenVINO环境变量,并配置好推理引擎(Inference Engine),如C++ API或Python API。 5. **加载和使用模型**:通过API(如C++的`ie::Core`或Python的`openvino.inference_engine.IECore`)加载模型,并进行实时推理或批量推理。 6. **性能优化**:利用OpenVINO提供的工具分析性能瓶颈,调整输入数据格式和尺寸,以获得更好的性能。 7. **部署应用**:将优化后的模型集成到实际应用中,比如摄像头应用、服务器端服务等。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

椒颜皮皮虾྅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值