- 博客(1110)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 借力 提示词检索解码与 OpenVINO™ GenAI 全面提升 LLM 推理
提示词检索解码在此基础上进一步优化：它省去了草稿模型，直接利用输入提示词中预先存在的内容，减少了重复计算。换句话说，模型无需每次都从头生成 token，而是能直接从提示词中提取已有的文本序列，从而大幅减少推理所需的时间。比如，推测性解码技术通过利用草稿模型生成多个 token 候选项，再由一个更大、更准确的模型进行验证，从而显著提升推理速度，同时确保生成结果的准确性。通过将提示词检索解码集成到 OpenVINO GenAI API 中，开发者能够在保持准确性和效率的同时，实现文本生成任务的显著性能提升。
2025-04-02 19:16:14
569
原创 当Ollama遇上OpenVINO：解锁多硬件AI推理新范式
为什么选择 Ollama + OpenVINO 组合？双引擎驱动的技术优势Ollama 和 OpenVINO 的结合为大型语言模型（LLM）的管理和推理提供了强大的双引擎驱动。Ollama 提供了极简的模型管理工具链，而 OpenVINO 则通过 Intel 硬件（CPU/GPU/NPU）为模型推理提供了高效的加速能力。这种组合不仅简化了模型的部署和调用流程，还显著提升了推理性能，特别适合需要高性能和易用性的场景。Ollama 的核心价值Ollama局限性OpenVINO 的突破性能力。
2025-03-31 22:39:40
419
原创 AIPC：多摄像头实时目标检测系统
基于OpenVINO和Qt框架开发的多摄像头实时目标检测系统，支持多路RTSP/本地摄像头接入。本系统采用基于YOLOv5n架构的预训练模型，并在此基础上进行迁移学习，通过自定义数据集对模型进行调整。拥有动态切换大屏显示、检测延迟实时监控、目标检测启停控制等UI功能。本系统基于AIPC架构，融合异构计算、边缘推理与自适应调度技术，构建面向智慧社区的智能视频分析系统。
2025-03-31 10:49:10
557
原创 能效比狂飙40%！酷睿Ultra 200HX游戏本震撼登场，AI算力重构游戏规则
游戏PC市场一直是PC产业的重要细分市场之一，也是PC性能创新发展的风向标。英特尔将从硬件软件两手抓，与OEM伙伴基于不断更新的酷睿处理器，以算力底座满足用户需求，也要与ISV伙伴基于AI等技术和场景，以创新体验引领用户需求。最终为包括玩家在内的PC用户带来酣畅淋漓的体验。
2025-03-31 10:31:52
863
原创 在英特尔® 酷睿™ Ultra AI PC 上部署多种图像生成模型快速实现文生图功能
本文详细介绍了在英特尔® 酷睿™ Ultra AI PC 上部署多种图像生成模型，快速实现文生图功能的全流程。
2025-03-27 15:26:00
574
原创 使用OpenVINO优化PP-OCRv4并部署在AIPC上
使用OpenVINO™可以直接读入PP-OCRv4模型(无需转换)，并能方便快捷的将PP-OCRv4模型部署在英特尔® CPU、独立显卡、集成显卡、NPU等硬件上。
2025-03-25 12:05:55
707
原创 在英特尔® 酷睿™ Ultra AI PC上用NPU部署YOLOv11与YOLOv12
本文介绍了如何配置开发环境、使用C# API进行模型部署，以及如何利用处理器的优势优化应用程序性能。随着AI技术的不断发展，英特尔的硬件和软件工具将继续为开发者提供更强大的支持，推动人工智能在各个领域的应用与创新。希望通过本文的学习，读者能够在实际项目中灵活运用这些技术，实现更高效、更智能的解决方案。
2025-03-21 12:06:21
1246
原创 火绒安全携手OpenVINO™工具套件共筑软硬件协同安全新格局
针对日益增多的各类恶意程序的网络攻击，火绒安全建立了多层次主动防御系统来有效应对，在病毒检测方面，基于传统模式匹配和行为分析技术已取得了一定的成效。然而，随着恶意软件技术的快速进步，传统方法面临着速度慢、误报率高和适应新威胁的能力不足的问题。为了应对这些挑战，火绒安全采用了基于深度学习的算法来增强其病毒检测能力以及检测效率。这种方法的优点在于其能够持续学习和适应新出现的恶意行为，大大提高了检测的精确度和速度。
2025-03-20 22:50:39
763
原创 贝锐向日葵与 OpenVINO™ 携手开启智能化远程控制新纪元
通过利用英特尔的开源AI工具套件OpenVINO™，贝锐向日葵在远程控制领域实现了图像的实时识别和深度分析，显著提升了远程操作的精确度和响应速度，让远程过程可以智能回溯，提升工作效率、解放生产力，为用户提供了更加智能化和高效化的服务体验。
2025-03-20 22:29:58
1019
原创 用 OpenVINO GenAI解锁 LLM 极速推理：推测式解码让AI爆发潜能
本文将探讨如何利用OpenVINO™ GenAI的推测式解码技术使这一变革性创新成为现实。借助于简化开发和优化硬件利用率的工具，OpenVINO 使开发者能够在各种实时和资源受限的场景中部署高性能的 LLMs。无论您是在构建响应迅速的聊天机器人、高效的虚拟助手，还是具备可扩展性的创意应用，OpenVINO 正在重新定义 AI 推理的可能性。
2025-03-14 13:25:15
1031
原创 DeepSeek在英特尔哪吒开发板部署大模型实战
在探索了 DeepSeek-R1 的本地部署之旅后，我们不禁感叹：AI 的世界正变得越来越触手可及！从企业对数据隐私的严守，到边缘设备上的高效推理，再到英特尔哪吒开发套件上的灵活部署，DeepSeek-R1 正在以一种前所未有的方式，将智能的力量带到每一个角落。
2025-03-08 18:55:02
1129
原创 OpenVINO™ 2025 新纪元，强力加持 Deepseek 本地部署
当 DeepSeek-R1 遇上 OpenVINO™ 2025.0使用最新款英特尔 AI PC，实现本地部署告别回复卡顿和数据安全顾虑！还有 LoRA、Minicpm-v 的动手实践探索抢先体验！
2025-03-07 12:43:46
765
1
原创 2025英特尔人工智能创新应用大赛即将开赛
想参加一场汇聚各路大咖的人工智能盛会？参与2025英特尔人工智能创新应用大赛启动仪式，您将先行一步知晓大赛全细则。本届大赛顶级赞助商联想和惠普，以及特别合作伙伴腾讯应用宝电脑版、腾讯应用宝移动应用跨端引擎、火山引擎 x Coze等赛事合作伙伴将出席本次启动仪式，开展AI热门主题内容分享和英特尔技术培训。
2025-03-07 12:39:14
976
原创 用英特尔Core Ultra及OpenVINO GenAI本地部署DeepSeek-R1
使用OpenVINO™ GenAI库可以方便快捷的将生成式AI模型本地化部署到英特尔 Core Ultra CPU、GPU或NPU上。
2025-03-06 16:35:58
1064
原创 哪吒大闹DeepSeek之开发板部署大模型实战
AI 的世界正变得越来越触手可及！从企业对数据隐私的严守，到边缘设备上的高效推理，再到Intel 哪吒开发套件上的灵活部署，DeepSeek-R1 正在以一种前所未有的方式，将智能的力量带到每一个角落。
2025-03-06 12:36:54
632
原创 AI PC 新玩法：OpenVINO™ GenAI+LoRA 助你轻松实现个性化图像的高效生成
借助生成式 AI 模型（如 Stable Diffusion 和 FLUX.1），用户可以将平平无奇的文本提示词转换为令人惊艳的视觉效果。但如果你想生成更具风格化或定制化的图像，开源的基础模型可能无法满足你的所有需求。这时，LoRA（低秩适应）就派上用场了。许多风格修改和增强功能现以 LoRA 的形式发布，作为基础模型的模块化附加组件。通过添加LoRA适配器，使得大家可以随心所欲、生成风格多变的个性化图像。通过将 LoRA 集成到 OpenVINO™ GenAI 中，开发者可以一次加载多个 LoRA 适配
2025-03-06 10:36:29
857
原创 如何利用OpenVINO在本地运行Qwen2.5-VL系列模型
Qwen2.5-VL 系列模型的发布带来了更精准的视觉定位，文字理解以及Agent智能体能力。OpenVINOTM则可以以更低的资源占用，高效地在本地运行Qwen2.5-VL视觉多模态模型，激发AIPC异构处理器的潜能。相信构建面向桌面操作系统的本地智能体应用已不再遥远。
2025-02-28 10:56:09
1318
原创 英特尔显卡+魔搭社区，一行命令快速部署本地大模型
近期，Intel和魔搭合作，在魔搭社区上线了Ollama 英特尔优化版镜像，该镜像提供基于 IPEX-LLM 的 Ollama 英特尔优化版，开发者可在英特尔GPU (如搭载集成显卡的个人电脑，Arc 独立显卡等) 上直接免安装运行 Ollam
2025-02-27 18:49:04
1618
2
原创 大模型+小模型，实现AI智能监管
此项目的实施是对未来智慧城市建设和公共安全管理理念的一次重要探索，随着更多类似智能系统的推广和应用，我们期待看到一个更加智慧化、人性化的社会安全管理体系逐渐成形。
2025-02-17 09:35:24
1118
原创 如何利用OpenVINO在本地构建多模态RAG应用
本文将介绍如何利用OpenVINO和LlamaIndex工具构建应用于视频理解任务的RAG流水线。
2025-02-14 13:11:15
908
原创 C#中使用OpenVINO™：轻松集成AI模型！
OpenVINO™ 工具套件是一个用于优化和部署人工智能（AI）模型，提升AI推理性能的开源工具集合，不仅支持以卷积神经网络(CNN)为核心组件的预测式AI模型(Predictive AI)，还支持以Transformer为核心组件的生成式AI模型(Generative AI)。
2025-02-13 15:07:33
770
原创 LabVIEW +YOLO11 在intel AIPC上完成目标检测(含CPU/GPU/NPU实测效果)
本次项目成功地展示了YOLO11在Intel AIPC设备上的目标检测效果，通过硬件加速的应用，提升了检测效率，特别是在GPU和NPU的加速下，进一步证明了硬件加速对实时视觉任务的重要性，希望本次测试能够为开发者提供有价值的参考
2025-02-13 13:02:36
940
原创 OpenVINO™ 2025.0 正式发布！DeepSeek 支持、FLUX.1 图像生成、英特尔® NPU 加速全面升级
生成式AI（GenAI）在模型质量与应用范围上持续爆发式增长，DeepSeek 等顶尖模型已引发行业热议，这种势头预计将在 2025年延续。本次更新聚焦性能提升、更多生成式AI 模型的支持，并针对英特尔®神经处理单元（NPU）推出关键优化。让我们来一探究竟吧！
2025-02-13 12:12:04
1091
原创 Deepseek 再次震撼 AI 领域，OpenVINO™ 2025.0 全力加持，性能全面升级！
eepseek 的最新突破让 AI 技术迈向新高度，而 OpenVINO™ 2025.0 正是助力开发者高效部署和优化这些前沿模型的关键工具。无论你是从事 大语言模型优化、生成式 AI 应用开发，还是希望在本地或云端环境中加速 AI 推理，OpenVINO™ 2025.0 都将是你的理想选择。
2025-02-12 11:21:11
1164
原创 OpenVINO 2025.0重磅升级：开启⽣成式AI全场景⾰命！
英特尔OpenVINO™ 2025.0版本震撼发布，本次升级堪称近三年最⼤规模技术⾰新！从⽣成式AI性能跃升到全栈硬件⽀持，从开发者⼯具链优化到边缘计算突破，六⼤核⼼升级重新定义AI部署效率。
2025-02-12 10:59:41
436
原创 软件定义控制驱动产业数智转型--英特尔® 工业控制白皮书 2025 版
工业自动化是指将自动化控制技术结合信息技术运用在工业制造环节，旨在提高生产效率、缓解人力资源压力、提高质量控制和安全性。随着工业 4.0 的兴起和科技的飞速发展，工业自动化正逐步由对机械重复一致性的追求向信息化集成、柔性智能化输出等更高级别的数字化和智能化迈进。物联网 (IoT)、视觉辅助、大数据分析、大模型应用、云计算和边缘计算等关键技术的融合，正成为推动智能制造和工业自动化发展的新质生产力，它们为企业带来了前所未有的灵活性，使企业能够迅速适应市场变化和客户需求。
2025-01-23 14:07:08
1123
原创 利用软件定义基础设施实现电网现代化
英特尔作为虚拟保护自动化与控制联盟 (vPAC Alliance) 成员，致力于以技术创新推动联盟发展，包括提供多达 144 个能效核的英特尔® 至强® 6 处理器，从而帮助能源行业转型，实现高效、弹性、安全的智能电网。
2025-01-22 13:29:36
643
原创 边缘 AI 驱动，助力新质生产力--英特尔® 工业人工智能白皮书 2025 年版
工业 AI，是 AI 技术在工业领域的应用，它通过机器学习、深度学习、计算机视觉等先进的计算智能方法，实现对工业生产过程的优化和智能化，最终帮助企业提高生产效率、降低成本、提升产品质量，实现数字化转型。
2025-01-22 11:52:56
809
原创 英特尔® 工业电脑优选手册— 2025 版
英特尔®工业电脑优选项目是英特尔针对中国工业用户的本地开发习惯，利用英特尔在工业级芯片、工业边缘节点参考架构、工业边缘软件平台的多年积累，挑选适合不同应用的工业电脑产品进行测试及优选验证的项目。
2025-01-20 15:42:56
933
原创 新松携手英特尔打造高性能移动巡检机器人，加速行业智能化转型
移动机器人凭借着在效率、场景适应性、经济性等方面的优势，已经日趋广泛地应用于工业巡检、安防巡逻、园区服务等诸多场景之中，并展现出了巨大的发展潜力。作为移动机器人的关键模块，移动机器人控制器承载着传感数据集成、数据处理、控制等重要负载，需要在算法、算力、稳定性、易用性等方面克服严峻的挑战，以加速移动机器人方案在不同场景的落地应用。
2025-01-20 13:36:23
831
原创 腾讯会议携手 OpenVINO™ 激活 NPU 算力，打造更加智能的会议系统
线上会议系统是当前企业或是个人最常用的办公软件之一，通过视频会议，更可以拉近与会者之间的距离。此时处于个人隐私保护的考虑，同时不妨碍面对面的交流，会议系统中往往会集成背景虚化或是背景替换等功能，隐藏与会者身处的环境，这些功能需要依赖于视觉分割模型来区分人物与背景，给电脑设备带来不小的负载挑战。
2025-01-20 10:54:20
1032
原创 英特尔助力人形机器人
在具身智能技术的加持下，人形机器人或类人形机器人有望在非结构化、复杂的生产环境中执行更灵活、更细致的任务，成为工人的得力助手，并帮助企业提升整体生产效能，从而在激烈的市场竞争中保持技术和成本优势。
2025-01-17 09:14:17
574
原创 基于LabVIEW和YOLOv8-Pose的跳绳计数装置
本文设计了一种基于LabVIEW和YOLOv8-Pose的跳绳计数装置，成功解决了人工计数误差大的问题。
2025-01-17 09:09:54
1170
原创 使用OpenVINO条件编译功能，压缩windows应用体积
在OpenVINO编译过程中，我们可以根据应用对于硬件平台的需求，关闭或开指定推理后端的编译，以达到简化OpenVINO运行库的目的。除此以外OpenVINO还提供了条件编译功能，用于针对特定模型进行运行库压缩，接下来就让我们一起来看下如何在Windows操作系统上实现这一功能。
2025-01-17 09:00:33
1295
原创 英特尔® Extension for Transformers 一石双鸟：让 LLM CPU 推理加速达 40x + 攻克聊天场景应用难题！
英特尔® Extension for Transformers 创新工具包中的 LLM Runtime 是一种轻量级的高效 LLM 推理运行时。在搭载英特尔® 至强® 铂金 8480+ 的系统上的测试结果显示，LLM Runtime 可为 GPT-J-6B、LLAMA2-7B-Chat、MPT-7B、ChatGLM-6B、ChatGLM2-6B、Mistral-7B、Dolly-v2-3b 和 Baichuan-12B 等诸多常见模型带来高达 40 倍的性能提升。面向聊天场景，英特尔® Extension
2024-12-18 14:16:44
1056
1
原创 BigDL-LLM：在英特尔® 平台上加速大语言模型的便捷新利器
英特尔最近推出的 BigDL-LLM 库，可助力应用开发者和研究人员在英特尔® 平台上加速优化大语言模型，解决他们在使用大语言模型开发应用时因模型的超大规模参数导致的高时延困扰。BigDL-LLM 提供了各种低精度优化，并可利用现代硬件加速技术和全新的软件优化，从而赋能大语言模型在英特尔® 平台上实现高效优化和快速运行。
2024-12-18 14:11:21
896
原创 只改一行代码，在第四代至强® 可扩展平台上高效微调优化 ChatGLM-6B
开源预训练大模型 ChatGLM-6B 通过以下三个方面可实现基于第四代英特尔® 至强® 可扩展处理器的高效微调优化：一是借助英特尔® 高级矩阵扩展，大幅提升模型微调计算速度；二是结合英特尔® MPI 库充分利用处理器架构特点和多核配置，发挥 CPU 的整体效率；三是利用英特尔® 至强® CPU Max 系列处理器集成的 HBM 满足大模型微调所需的大内存带宽。
2024-12-18 14:08:03
5513
原创 用基于英特尔® SGX 的可信执行环境有效应对大语言模型隐私和安全挑战
大语言模型 (LLM) 的兴起与应用也带来了更加复杂的安全挑战，可信执行环境 (TEE) 能够保障数据在 LLM 训练和推理过程中的保密性和完整性。基于英特尔® SGX/TDX 的 TEE 可为 LLM 提供更安全的运行环境，为 LLM + TEE 在多行业、多场景的融合提供完整解决方案，协同英特尔其他内置加速器与 BigDL 可在强化安全保护的同时，解决资源性能限制，优化模型整体性能。
2024-12-16 15:14:54
1146
当Ollama遇上OpenVINO：解锁多硬件AI推理新范式
2025-03-31
火绒安全携手OpenVINO 工具套件 共筑软硬件协同安全新格局
2025-03-20
贝锐向日葵与 OpenVINO携手开启智能化远程控制新纪元
2025-03-20
Deepseek 再次震撼 AI 领域，OpenVINO2025.0 全力加持，性能全面升级！
2025-02-13
卓易打造高效智慧楼宇运营管理平台 赋能智慧园区高质量发展
2024-08-29
收费车型精准识别，实现高效缴费稽核 小神瞳收费车型识别系统赋能智慧交通建设
2024-08-29
基于小钴科技 AI-Box 的智慧园区解决方案 助力打造一站式创新园区
2024-08-29
基于英特尔架构的趋视科技神图智安智慧社区解决方案
2024-08-29
开域集团打造基于英特尔视频 AI 计算盒的智慧汽车 4S 门店解决方案
2024-08-29
百度打造 “AI 质检员” 帮助企业降本增效
2024-08-29
英特尔 赋能工业数字化升级 机器视觉特刊 2024
2024-08-28
英特尔技术优化锂电池缺陷检测方案助力 新能源行业发展
2024-08-28
深信服医疗云边端协同方案赋能信息化变革加速智慧医院转型
2024-08-27
英特尔锐炫 显卡赋能医学影像 AI 推理解决方
2024-08-27
阅面科技智慧理化生实验辅助评分SDK白皮书
2024-08-27
安恒信息采用英特尔至强 可扩展处理器加速恒脑大模型推理 助力实现智能安全运营
2024-08-26
文章中的*.dll文件在哪里下载
2024-01-16
pot工具已经弃用，量化工具更改为什么
2024-01-16
不知道该如何用最新版vino复现
2024-01-16
N5105是迷你主机那种盒子吗？
2024-01-16
英特尔独立显卡性能比较
2023-11-01
目前intel的gpu只能有限的支撑几个深度学习的模型的训练吗？
2023-11-01
Dolly 2.0能用于训练大模型吗？
2023-11-01
AsyncInferQueue C++ 的demo
2023-11-01
《在英特尔独立显卡上训练TensorFlow模型？》输出结果是否正常？
2023-11-01
TA创建的收藏夹 TA关注的收藏夹
TA关注的人