视频压缩技术路线详解|编码引擎、旁路压缩设备与硬件编码优化

【信息科学与工程学】【产品体系】第三十三篇 DPU/smartinic芯片中的学科知识03 需求实现DMA 与流边界检测优化​分级超时状态机(短/中/长)+ 积压计数 + 批量触发DMA 控制器优化​描述符预取(深度 4)+ 中断合并(阈值 8)Fence 语义正确性验证​RTL 断言 + C 语言序列号检测 + 性能对比 + 硬件计数器所有代码均为可综合 Verilog,已在仿真器中通过基本功能测试。在 FPGA 原型上运行上述 RTL,配合 ChipScope 观察 fence 时序在 BlueField-3 上运行 DOCA DPA 测试程序,对比加/不加 fence 的结果。 阅读详情

谈到视频压缩,很多讨论会先落到 H.264、H.265、AV1,接着比较压缩率、画质和编码速度。这些指标当然重要,但到了真正的工程项目里,编解码标准通常只是第一层问题。

更先要回答的是,压缩发生在哪里。

它可以发生在转码集群里,由软件编码引擎直接生成更小的码流。也可以发生在摄像头、存储设备和视频平台之间,通过旁路设备接入现有系统。还可以发生在 GPU 或 SOC 的硬件编码模块上,在低时延和高吞吐的基础上继续改善压缩效率。

这三条路线解决的都是视频码率问题,改造对象、部署位置和适用场景却相差很大。微帧 Visionular 目前对应的三类产品分别是视频智能编码引擎、视频压缩设备和硬件编码优化引擎。

视频压缩项目究竟在降低什么

比如在监控项目中,一段视频占用多少存储,主要由平均码率和保存时长决定。多路视频系统还要乘上视频路数。

存储量 ≈ 平均码率 × 视频路数 × 保存时长

传输侧也很直观。专线或卫星链路能够同时承载多少路视频,取决于总带宽、单路码率和必要的网络余量。单路码率从 4 Mbps 降到 500 kbps,会同时改变文件大小、可并发路数、回传稳定性、存储周期和机房规模。

问题在于,码率不能单独往下压。分辨率、帧率、编码格式、画质、时延和计算资源互相牵制。一个完整的技术评估至少要同时观察以下指标。

  • 平均码率和峰值码率
  • VMAF、PSNR 等客观质量指标
  • 人眼主观观感
  • 编码帧率和端到端时延
  • CPU、GPU、NPU 和内存占用
  • 单机最大并发路数
  • 对现有协议、设备和平台的兼容性

一 在转码链路中使用视频智能编码引擎

视频智能编码引擎直接参与码流生成。它通常部署在点播转码、直播转码、RTC、云端媒体处理或私有化转码集群中,替换现有的软件编码器,或者作为新的编码库、SDK、FFmpeg 程序和云端 API 接入。

微帧视频智能编码引擎包含 WZ264、WZ265 和 Aurora AV1 三套自研内核,分别对应 H.264、H.265 和 AV1,并结合 AI 预处理、CAE 感知编码、智能码控和画质增强等模块。工程上的核心变化,是编码器能够根据视频内容分配码率,而非对整段视频使用一套固定策略。

以 WZ264 CAE 与 x264 crf 的点播测试为例,三组视频在编码帧率接近、VMAF 略高的情况下,码率出现了明显下降。意味着画质更高,体积更小。

这类结果说明,软件编码路线适合对转码质量和参数控制有较高要求的业务。短视频、长视频、直播平台、在线教育和云端媒体处理都属于常见场景。团队可以围绕内容类型、清晰度档位、码控方式和终端兼容性继续调优。

它也有明确的接入条件。业务方需要能够修改转码流程,并为编码测试、灰度切换和参数维护投入研发资源。软件编码通常会占用较多 CPU,追求更高压缩率时,计算成本也要一起核算。

二 在现有系统中加入旁路视频压缩设备

很多监控和行业视频系统已经运行多年。前端摄像头、NVR、存储设备和视频联网平台都有固定协议,业务方很难重新改造编码链路。这时,旁路视频压缩设备更容易落地。

旁路设备放在视频源与存储、传输或上级平台之间。它接收原有视频流,完成实时压缩,再把压缩后的码流交给后续系统。原有摄像头和平台可以继续工作,项目改造集中在接入、转发和存储路径上。 

微帧视频压缩设备支持 GB/T 28181、ONVIF、RTSP 以及海康、大华等主流厂商 SDK 接入,并可通过 GB/T 28181、RTSP、RTMP、ONVIF 等方式输出。根据项目规模和网络条件,设备形态包括压缩服务器、压缩盒子和面向卫星网络的压缩终端。

这条路线有几个典型特征。

第一,尽量保留现有组网。设备可以采用旁路、转存、直存或中心汇聚等方式部署,适合利旧项目。

第二,输入输出侧需要认真做协议兼容测试。能否稳定拉流、断线重连、处理时间戳、保持音视频同步,往往比单次离线压缩结果更影响项目成败。

第三,评价标准更接近长期运行。监控场景常要求分辨率、帧率和编码格式保持不变,还要兼顾人眼查看与机器视觉分析。设备资料中的 1080p 示例显示,约 4 Mbps 的源视频可在不同方案和场景下压到数百 kbps。卫星链路等极窄带环境还会采用更深的压缩策略。不同数字对应的内容、网络和画质目标并不相同,不能直接横向排名。

旁路设备适合公安、交通、校园、医院、园区、油田、风电、船舶和远程巡检等场景。项目方若面临存储扩容、跨区域回传或窄带传输问题,又不方便改摄像头与平台,这条路线通常更省改造时间。

它的限制也很实际。设备会增加一个运行节点,需要考虑主备、故障绕行、运维监控、机房空间和网络安全。单机并发能力还会受到分辨率、帧率、压缩档位和芯片资源影响。

三 在 GPU 和 SOC 上优化硬件编码

高分辨率直播、实时推流、云游戏、数字人直播通常依赖 GPU 或 SOC 的硬件编码模块。硬编速度快、时延低、吞吐高,但直接调用默认编码模块时,压缩效率和场景适配能力未必够用。

硬件编码优化引擎保留 GPU 或 SOC 的硬编能力,同时在前处理、内容分析、感知编码、码控和画质增强环节加入算法优化。它直接处理现有硬件编码路径,并围绕具体芯片和资源配置进行调优。

GPU 和 SOC 的资源结构不同,评估方法也要分开。

GPU 硬编优化

在 NVIDIA T4 的测试中,点播场景使用 NVENC P7 时,基准方案平均码率为 2343 kbps,硬件编码优化引擎为 1518.97 kbps,对应码率节省 35.71%。两者编码速度分别为 130 fps 和 129 fps。

直播场景使用 NVENC P1 时,基准方案平均码率为 2465.7 kbps,优化后为 1688.73 kbps,对应码率节省 31.52%。这组数据中的编码速度从 367.25 fps 变为 229 fps。压缩率有了收益,吞吐也发生变化,容量规划时需要把两项一起算进去。

GPU 路线适合云游戏、数字人直播、视频会议、直播推流和 AIGC 素材压缩等场景。部分业务还可以利用已有 GPU 的空闲算力,减少新增硬件投入。

SOC 硬编优化

SOC 常见于摄像头、边缘盒子、无人机、车载终端和专用视频设备。硬件编码优化引擎可以结合芯片中的 CPU、GPU、NPU 与编码模块,以算法模块、API 或系统级方式交付。

在瑞芯微 RK3588 的公路监控视频测试中,输入条件均为 1920×1080、25 fps、4.5 Mbps。SOC 原生编码模块输出 592 kbps,最大并发 16 路。普通压缩模式输出 515 kbps,压缩倍数为 8.9,仍保持 16 路并发。深度压缩模式输出 421 kbps,压缩倍数为 10.9,最大并发变为 8 路。

这组数据把 SOC 选型中最容易忽略的问题摆得很清楚。更深的压缩会占用更多计算资源,并发能力可能随之下降。设备端方案需要先确定码率目标和最低并发,再选择算法复杂度,不能只追求最高压缩倍数。

三条路线的关系

编码引擎、旁路压缩设备和硬件编码优化属于不同产品形态,共用的目标是提高视频压缩效率,部署位置各不相同。

对比维度视频智能编码引擎旁路视频压缩设备硬件编码优化引擎
主要改造对象软件转码链路现有视频组网GPU 或 SOC 硬编模块
常见部署位置云端、服务器、转码集群摄像头与存储或平台之间GPU 服务器、摄像头、边缘终端
主要目标提升编码效率与质量控制能力快速降低存储和传输码率保留低时延与高吞吐并改善压缩率
接入形式SDK、编码库、程序、API服务器、盒子、终端设备算法模块、API、系统级集成
改造强度需要调整转码流程对原系统改动相对集中需要适配具体 GPU、SOC 与资源配置
典型场景点播、直播、RTC、媒体云监控存储、跨域回传、卫星传输云游戏、数字人、边缘视频、智能终端

同一个客户也可能同时使用两条路线。云端转码平台可以在中心侧部署视频智能编码引擎,边缘设备则使用 SOC 硬件编码优化。已有监控系统暂时无法改造前端时,可以先加入旁路压缩设备,后续新设备再把算法下沉到芯片侧。

项目选型可以从四个问题开始

第一,现有编码链路能不能改。如果可以修改软件转码流程,并且希望精细控制画质、码率和编码格式,优先评估视频智能编码引擎。

第二,现有摄像头、NVR、存储和平台是否需要利旧。如果系统已经成形,主要目标是降低存储或传输压力,旁路视频压缩设备更容易实施。

第三,业务是否依赖硬编的低时延和高并发。如果 GPU、SOC 已经承担实时编码任务,硬件编码优化通常更贴近原有架构。

第四,项目最不能退让的指标是什么。直播可能更关心时延和峰值码率,监控更关心长时间稳定、机器视觉和存储周期,卫星传输更关心极低带宽下能否看清,端侧设备还要受功耗和并发约束。

测试方案要保持比较条件一致

视频压缩方案很容易被一张漂亮的对比表带偏。可靠测试应当使用相同源视频、分辨率、帧率、输出格式和画质目标,并覆盖业务中的主要内容类型。

点播测试要统计完整片段的平均码率、编码耗时和质量指标。直播与 RTC 还要测峰值码率、端到端时延和长时间稳定性。GPU、SOC 方案需要记录资源占用、功耗和并发路数。监控项目则要加入协议兼容、断线重连、存储回放和机器视觉识别验证。

最终结果最好落到一笔可以核算的账上。节省了多少带宽和存储,新增了多少转码资源、设备和运维工作,容量上限在哪里。压缩率只有放进这笔账里,才会变成能够实施的工程结论。

视频智能编码引擎、旁路视频压缩设备和硬件编码优化引擎分别对应软件转码、存量系统改造和硬件编码三类入口。项目先确定入口,再比较码率、画质、速度、时延和并发,选型会清楚很多。

【信息科学与工程学】计算机科学与自动化——第一百八十九篇 计算机硬件 系列一 微处理器01 在金融行业CDN流推送场景中,结合WebRTC over SD-RTN与SD-WAN Branch方案,需兼顾​​要求。 阅读详情

相关推荐

【产品体系】【会计领域】【成本会计】第十九篇 GPU服务器的成本会计01

从内到外依次为:界面氧化层(SiO₂,~0.5nm)、高K介电层(HfO₂或HfZrOₓ,等效氧化层厚度EOT < 0.5nm)、功函数金属层(TiN、TiAlC等多层,总厚度~2-3nm)、钨(W)或钴(Co)栅极填充金属。:服务器操作系统(如Linux发行版)、GPU驱动程序、集群管理软件(如Kubernetes)、虚拟化软件(如VMware)、AI框架(如CUDA、TensorFlow)的商用许可。随后进行绝缘层(SiO2)沉积、阻挡层(Ta/TaN)和种子层(Cu)沉积,电镀填充铜。

weixin_49199313的博客 850

UML面向对象-分析、建模与设计(第三版·微课视频·题库版)顺序图画图

该顺序图展示了客户端(Client)通过事务对象(Transaction)与ODBC代理(ODBCProxy)的交互过程。客户端创建事务,设置操作参数并提交,事务调用代理完成数据设置,最后销毁事务。整个流程体现了对象间协作与生命周期管理,清晰展现了系统内部调用顺序与状态变化。

一亩高粱 36

S32DS3.5图形化配置实战:从零构建S32K144通信接口工程

本文详细介绍了如何使用S32DS3.5图形化配置工具从零构建S32K144通信接口工程。通过实战演示引脚配置、时钟树设置、SPI接口搭建等关键步骤,帮助开发者快速掌握NXP S32K系列开发技巧,提升嵌入式开发效率。特别针对S32DS3.5版本的新特性进行了深度解析,包括智能代码生成和调试优化方法。

weixin_26834815的博客 201

AI 视频进入智能体时代:一条短片,如何从灵感走到成片?

AI 视频创作正在从单点生成走向完整流程。本文结合 Adobe Firefly 的新动向,梳理从确定目标、准备授权素材、设计画面到配音字幕和发布前复核的五步方法,并介绍 Aivo容剪如何辅助团队衔接创作环节。

AIVOClaw的博客 149

深入解析CRC-16校验算法及其Verilog硬件实现

本文深入解析了CRC-16校验算法的原理及其在Verilog中的硬件实现方法。从基础的模2除法到串行和并行实现方案,详细介绍了LFSR结构、状态转移分析以及工业应用中的优化技巧。通过实际案例和性能对比,帮助开发者理解如何选择适合的CRC实现方案,确保数据传输的可靠性。

yolo5detector的博客 323

别再只仿真原理图了!用ADS做微带功分器,版图仿真这一步才是关键

本文深入探讨了使用ADS进行微带功分器设计时版图仿真的重要性,指出原理图仿真与版图仿真的本质差异及其对性能的影响。通过详细分析版图效应、关键设置和优化策略,帮助工程师避免常见陷阱,提升设计效率和准确性。文章特别强调了版图仿真在确保微波电路性能中的关键作用。

weixin_42561476的博客 415

AI动画视频生成器免费在线怎么用?新手完整操作教程

AI动画视频生成器让零基础用户也能快速制作动画内容,本文拆解在线创作全流程:剧本构思、角色场景设定、提示词撰写、分镜生成、后期剪辑导出。对比免费版与付费版本的差异,讲解免费工具常见限制,分享素材导入、提升画面一致性的实操技巧,解答角色跑脸、提示词难写等高频问题,同时介绍适合短剧团队的规模化创作方案,帮助个人创作者和团队按需挑选AI动画工具。

2601_96477822的博客 659

保姆级教程:在DolphinScheduler 3.x中配置Apache SeaTunnel任务(Flink/Spark双引擎)

本文提供了一份详细的教程,指导如何在DolphinScheduler 3.x中配置Apache SeaTunnel任务,支持Flink和Spark双引擎。从环境准备、脚本选择到配置文件编写和任务调度优化,涵盖了所有关键步骤和常见问题解决方案,帮助用户高效集成SeaTunnel到海豚调度系统中。

weixin_42524945的博客 194

视频解说交付前,用 Python 检查字幕时轴与证据镜头是否对齐

用普通 SRT 和 Python 标准库复现两类字幕错误:时轴重叠,以及结论比证据画面提前出现。附可运行示例、修正结果和人工审片边界。

linan96的博客 151

HexView 脚本自动化工具:从刷写文件处理到批量转换实战

本文详细介绍了如何利用HexView脚本自动化工具高效处理嵌入式刷写文件。通过实战演示,文章展示了如何使用bat脚本实现S19、HEX等格式文件的剪切、填充、合并与批量转换,构建自动化流水线,从而显著提升汽车电子等领域的开发与生产效率。

weixin_29237635的博客 358

腾讯会议视频过期了怎么办?亲测可用:用这个免费插件抢救你的会议录制与回放

本文提供了三种亲测有效的腾讯会议视频过期恢复方案,包括浏览器缓存提取、专业工具组合及预防性措施。特别推荐使用免费插件抢救过期会议录制与回放,帮助职场人解决重要视频资料丢失的难题。

weixin_33686714的博客 265

从一段视频到可漫游的 4D 有声场景:思路拆解与最小复现手记

只需一段手机视频,你就能生成可"走进去"的 4D 有声场景:转头时狗叫声方向随之变化,走近时声音更清晰。本文拆解 Video-to-4DAVScene 的核心思路,手把手带你用几十行 Python 搭出最小管线,把视频中的运动物体变成带空间位置的声源,并附上三个真实踩坑的排障经验,代码可直接跑。🎧

helloagent的博客 247

谷粒商城篇章9 ---- P248-P261/P292-P294 ---- 消息队列【分布式高级篇六】

RabbitMQ消息队列、RabbitMQ延时队列。

weixin_48568302的博客 1551

打字就能剪视频的AI工具

AI 会替代剪辑师吗?这个问题和“AI 会替代程序员吗”一样,问错了方向。会用 AI 工具的人,正在替代不会用的人。一个剪辑师用传统方式花三天做的宣传片,另一个人用 UniCut 一天做完,质量差不多,市场会选谁,答案很明显。工具的进化从来不是把专业的人淘汰掉,而是把专业的门槛拆掉。浏览器已经打开了,剩下的就是你愿不愿意试一下。体验地址:https://unicut.h5ds.com/开源仓库:https://github.com/mtsee/unicut。

d676015863的博客 167

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

本地化部署会议视频软件如何替换旧平台?账号迁移、历史数据与用户培训怎么安排?

账号先映射:身份与权限验证通过,再开放使用。资料分级处理:能查、能读、权限正确,比“全部搬完”更重要。切换可恢复:入口、增量数据和业务通知都要纳入回退方案。培训按岗位落地:让用户完成真实任务,而不是只听功能介绍。这套方法适合政企、集团及医疗等具有长期资料留存、多终端接入和业务集成需求的组织。小规模替换可以简化批次与流程,但不应省略权限验证、备份恢复和关键会议演练。

hz56789的博客 293

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

AI 礼盒开箱视频怎么做?让商品亮相更有仪式感

AI商品视频通过精细设计开箱动作与场景节奏,将礼盒从静态包装转化为沉浸式送礼体验。从暖光布景、情感化构图到手部停顿、商品细节特写,每一帧都传递“精致”与“珍视”。以珠宝礼盒为例,俯拍视角下,红色对开门展开如舞台揭幕,银色项链在深蓝夜空衬底中缓缓呈现,掌心承托、缓慢转动,强化视觉记忆。结尾平铺构图,礼盒与商品共存,情绪由期待落至静谧珍藏。全程无文字,靠画面叙事,实现仪式感与品牌调性的深度融合。

yunhhhhh的博客 132

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

RN鸿蒙空间音频实战

示例仓库:https://atomgit.com/m0_37170006/react-native-ohos-spatial-audio 社区导引:框架源码与版本发布见 https://atomgit.com/CPF-RN/ohos_react_native/tree/0.84-main CPF-RN 鸿蒙社区:https://atomgit.com/CPF-rn。

buhuisuanfa的博客 2万+

通过 AIGC 生成视频何时才能告别“抽卡”!

如果视频的主体内容已经符合要求,只存在错误字幕或局部画面瑕疵时,重新生成不仅增加成本,还可能改变原本满意的部分。针对这类问题,WAND-EraseVibe+ 提供了视频擦除与画面重建能力。根据腾讯云披露的技术方案,该工具采用基于隐空间 Transformer 的生成式修复架构,先将视频画面编码为隐空间特征,在特征层推断并重建需要修复的区域,再解码为视频画面。白模前置、垂直场景调优和局部修复分别作用于不同环节,目的都是减少为了获得可用内容而付出的重复生成成本。

Enweitech Software Works 168

网页视频资源识别与本地化管理:从 HTTP 流媒体技术到完整的视频工作流

现代网页视频技术已经从简单的文件传输发展到分段传输、自适应码率和浏览器端媒体处理。这使视频播放体验不断改善,也让资源识别和本地管理变得更加复杂。对于技术人员而言,理解 HTTP、HLS、MPEG-DASH 和 MSE 的基本工作机制,有助于更准确地分析网页视频的传输过程。对于视频创作者和研究人员而言,建立从内容发现、资源识别到本地整理的完整工作流,可能比单纯寻找一个下载工具更有长期价值。

m0_68263549的博客 456

Android 音频 Player 体系

Android 音频框架中,"Player"是统一抽象的音频播放实例,涵盖 AudioTrack、MediaPlayer 等。每个 Player 由唯一 piid 标识,通过 PlayerBase 注册至 PlaybackActivityMonitor,状态机管理其生命周期(idle→started→stopped→released)。关键事件如 portId 绑定、静音(位掩码标识主静音、音量为0等)、设备切换等均通过 PLAYER_UPDATE_* 通知系统。静音原因以掩码形式记录,日志中“source

aningxiaoxixi的博客 168

[黎阳之光] 边海防无人机巡检实战教程:航线规划、目标发现与视频孪生联动一次讲透

本文给出的是简化版模型与参考框架,面向真实项目的完整落地,还需结合具体海域、设备与业务规则做针对性设计。它的角色不是替代固定感知,而是做“机动确认层”——雷达和固定视频负责发现,无人机负责在 10 分钟内飞到目标上空,把“有个点”变成“看清是什么”。数据流的关键指标:无人机视频接入孪生平台延迟不超过 800ms,位置上报频率 1Hz,吊舱角度反馈 10Hz。位置或角度一滞后,图上无人机的视野锥就会和实际画面错位,指挥员按图指挥就会指错地方。这样既不断档,又不烧钱。

m0_75019831的博客 325

15. 调用ComfyUI生成视频!

在“导演大师”中,我们不仅支持导出分镜导演包并一键导入运行,还为用户提供了极高的自定义自由度。许多创作者希望结合自己精心调试的 MiniMax H3 工作流来生成视频,这当然是完全支持的。通常有两种操作方式:一种是手动复制,将分镜的资产与提示词手动粘贴至本地工作流中;另一种则是更为高效的自动化方案——直接在“导演大师”中调用 ComfyUI 工作流,实现一键生成。本文将重点介绍后者的配置与使用全流程,帮助你打通从分镜脚本到视频直出的自动化链路。

2601_95544990的博客 294

面向强噪声工业场景的 KL‑2510 音频 DSP 模组设计与多场景落地分析

KL-2510是一款22×16mm邮票孔SMT封装音频模组,集成ADC/DAC、AI-ENC降噪(45–90dB)与AEC回声消除(100dB),支持USB免驱及模拟/PDM麦克风输入,具备4档硬件拾音增益,适配医疗、矿山、安防等复杂噪声场景。通过五类真实案例验证其在病房对讲、井下报警、门铃对讲等应用中的稳定性与易用性。重点提示:需接入AEC_IN参考信号、输出加分压电路、外设勿接3V3电源,避免烧毁。适用于空间紧凑、无算法团队的嵌入式项目,显著降低音频开发门槛。

R190_6589的博客 419

翻译配音后音画对不上?用 ffmpeg + Python 把新音轨对齐到原视频时间轴

做视频出海、课程本地化的同学迟早会撞上这个坑:原片是中文 3 分钟口播,你换成英文 AI 配音后,要么配音在 2 分 10 秒就播完了、后面画面在放"默片",要么配音拖到 4 分钟、视频早黑屏了——也就是**音画不同步(A/V desync)**。 根因很简单:不同语言的"信息密度"不一样。同一段意思,英文往往比中文多 30%~50% 的音节,中文又比英文短。你把原音轨换成翻译后的配音,新音轨长度和原视频时间轴天然对不上。本文把"怎么测量偏差、怎么用 ffmpeg 把新音轨拉伸/压缩到刚好贴合原视频、...

weixin_60261120的博客 353

视频已经变模糊了,为什么还是会卡?

视频播放中画质忽清忽糊、画面转圈,根源在于下载速率与缓冲消耗不匹配。即使测速快,也未必能持续支撑高画质播放。自适应码率切换需综合考虑缓冲余量、持续吞吐与切换成本,盲目升档易导致卡顿。测试时应固定片源、模拟真实网络变化,记录缓冲、切换与停顿细节,结合下载、缓冲与轨道变化时间线分析问题,才能优化体验。稳定中等画质往往比频繁跳变更可接受。

NetworkSimulator的博客 277
上一篇: GenOpt像素智绘引擎|AI生成视频需要怎样的视觉优化算法?
下一篇: 视频生成成本控制:从镜头路由到像素智绘引擎
微帧Visionular
博客等级 码龄5年 88粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值