关于多slice数据硬解码

最新推荐文章于 2024-11-06 15:35:42 发布
最新推荐文章于 2024-11-06 15:35:42 发布
阅读量2.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： OC 文章标签： 流媒体-iOS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/z15083415803/article/details/50353804
针对编码时采用切片方式的流媒体数据， Videotoolbox在解码时要求整个frame在一个NALU中。当前面临的问题是，如何将分散的slice合并以进行硬解码。文章指出，SPS和PPS未被切片，而IDR帧后的slice通过第5个字节与0x80的比较来判断属于同一frame。尽管ffmpeg能够合并这些slice，但具体的合并算法尚不清楚。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

有的推流端处于编码性能的考虑，会选择通过切片的方式来编码，这样一个frame的数据就可能被切片分散于多个nalu中(哥伦布编码)，但是videotoolbox有解码又必须是整个frame合并到一个nalu中解码，暂时没找到直接硬解码的方法。

下面是一个切片的裸流数据

  00 00 00 01 67 64...
  00 00 00 01 68 ea...
  00 00 01 06 05 ff...
  00 00 01 65 88
最低0.47元/天 解锁文章

200万优质内容无限畅学
nalu模式多slice_关于iOS硬解码遇到多slice的视频码流
weixin_30920223的博客
01-28 493
unsigned char* bufferOneFream, unsigned int buffFreanLen, h264的数据和长度-------------------------------------------------------------------int naluType = 0;unsigned int oneFreamIndex = 0;unsigned int...
多slice码流
qq_34754747的博客
07-30 2932
现象 在iOS平台的硬解的实践中，我们可能会遇到如下图的这种情况（上面一部分有画面，下面部分是绿屏）： 原因 有的推流端出于编码性能的考虑，会选择通过切片的方式来编码，这样一个frame的数据就可能被切片分散于多个nalu中(哥伦布编码)，但是videotoolbox解码又必须是整个frame合并到一个nalu中解码，暂时不知道合并算法，但是通过ffmpeg打开得到的流是合并过的(据说的熵编码)。 例子 下面是一个切片的裸流数据(PES包后的裸数据) 00 00 00 01 67 64..
IOS 硬解码，一个可以解各种粘包，起始码不同的解码器文件
FF_lz的博客
02-29 1332
接触iOS硬解码是从2017上半年开始的，在接触硬解码之前都是集成各种接收数据到渲染的框架，各种坑填都填不完，就直接改用硬解码了，tcp网络码流获取方面使用的是CocoaAsyncSocket网络框架，rtsp摄像头码流获取是通过FFmpeg获取的，这里就不将代码贴出来了，需要的话评论区留言，接下来直接上摄像头h264码流图 上图:这是一段摄像头的sps ，pps，I帧粘包都一块的数据图 ...
有关slice 解码过程的(翻译标准8.2部分)
ClaireShi的专栏
06-03 1652
(在这里,只考虑到帧(frame)的情况,对于场(field),相互场对(complementary field pair)暂不作考虑) 1.图像序列号POC(picture order count)解码过程. picture order count ,在解B slice时,用来决定参考picture初始化顺序; 在解时间直接模式(temporal direct mode)下的运动矢量,不直接
720p多slice.h264
03-25
720p多slice h264裸流，可用于rtmp和rtsp推流测试
iOS硬解码H264视频流
W2Y的专栏
06-27 7559
        苹果在iOS 8.0系统之前若要做音视频开发需使用第三方软件进行编解码(FFmpeg软解码H264视频流可看到这里)，学习成本较大，项目开发进度也可能超出预期。在iOS 8.0之后开放了视频编解码框架VideoToolbox，在此之后对于音视频开发变得相对简单。       一、硬解码名词(结构)解释 1、VTDecompressionSessionRef：解码器对象数据...
iOS硬解码总结
Abe_liu的博客
07-18 2367
文章目录iOS 解码总结iOS 硬解码数据转换初始化Session 和解码器配置解码 iOS 解码总结 在iOS 中解码从解码方式来讲，可以分为硬解码 和 软解码 硬解码： 由显卡核心的GPU 来对视频数据进行解码工作 软解码： 由CPU 来进行解码 画质 性能 内存消耗 支持格式 流畅度 总耗能 硬解码 高 优 低 少 好 低 软解码 高 差 高 无限制 坏 高 iOS 硬解码 在iOS中使用硬解码是有系统提供的接口来完成的，即VideoToolbox框架。 硬解码的主要流程
iOS 视频h264硬解码
天下只此一家的专栏
03-07 3056
if (iOSSYSTEMVERSION >= 8.0) { if (!_isPCVideoFrameData) { if (type == RTMPCLIENT_DATATYPE_AUDIO) { return; } uint8_t *videoFra
鸿蒙开发进阶（HarmonyOS）视频解码
wea22984984的博客
11-06 1072
调用者可以调用本模块的Native API接口，完成视频解码，即将媒体数据解码成YUV文件或送显。
H264 slice 解码框架图
xiaowei的专栏
05-02 1525
这张图描述了一个slice解码的几个基本步骤： 1. 从SPS和PPS中获取解码的一些基本信息 2. 从DPB中建立初始化的Reflist0和Reflist1 3. 依据slice中的reorder信息对Reflist 做修改 4. 利用参考list对当前slice解码 5. 利用marking command修改已经解码picture的属性，以标记其是否为参考帧，或者是否要从DPB中B
在ffmpeg和libavcodec中使用多个slices
xgbm_k的专栏
09-08 764
有时为了加快解码速度，需要在码流中划分多个slices。 在ffmpeg中使用-x264opts slices=4，参数来划分4个slices 在c代码中设置ctx->slices = 4，来设置。这里ctx是AVCodecContext。
h264多slice
weixin_30294021的博客
05-25 929
1， h264编码以macroblock为最小单位（简称MB），多个连续的MB组成一个slice，每个slice编码输出一个NALU 2, 划分slice的方式可以按照固定个数MB的方式； 也可以以对MB编码后累计的字节数为依据进行划分。在图像上体现为一个连续区域块，区域块的长度（以MB为单位）可以变化。 3， 每个slice的编码过程是相互独立的。分多slice之后，可以并发地对多个slic...
rtmp H264多Slice封装学习笔记
lidec的专栏
05-26 4088
1.背景 在使用src_librtmp转推H264数据时，拉流端观看出现了花屏问题。经过排查发现客户端X264编码时如果设置了分片，转推为rtmp就会导致花屏，关闭分片相关设置视频正常。在转推H264前将数据写入本地，播放正常，播放转推后的rtmp花屏，ffplay会报错。这里推断是rtmp封装问题导致了花屏，下面首先需要对于这种一帧H264视频中包含多个Slice的情况，应当如何封装。 2.与ffmpeg推流进行对比 这里们尝试使用ffmpeg来推一段多slice的H264码流，ffplay拉流播放
H265/HEVC编解码系列（1）：图像分割（Slice、Tile、CTU）
qq_39565868的博客
04-02 1万+
H265编码中一些基本概念参考 参考 [1] [新一代高效视频编码H.265/HEVC原理、标准与实现] [2] [High Efficiency Video Coding(Hevc) Algorithms and Architectures]
海思Hi3559A支持单帧多slice解码的方法配置（不花屏不卡顿）
dong_beijing的博客
06-17 1941
Hi3559A中，默认单帧最多支持16个slice，解码时通过： cat /proc/umap/vdec 可以查询到 MaxVPS MaxSPS MaxPPS MaxSlice 以上是与H.264、H.265解码相关的内存分配参数。 如果用默认参数，对于单帧多slice和频繁gop的情况，会出现花屏和卡顿，解决方法是修改 sample_comm_vdec.c 在SAMPLE_COMM_VDEC_Start函数中，增加VDEC_PRTCL_PARAM_S ProtocolParam的设
fortran中call的用法_Array.slice 8种不同用法
weixin_39750190的博客
11-16 782
译者：前端小智 原文：https://codeburst.io/js-by-example-8-distinct-uses-of-javascript-array-slice-4e4e95a470e4为了保证的可读性，本文采用意译而非直译。想阅读更多优质文章请猛戳GitHub博客,一年百来篇优质文章等着你！JS数组slice方法是JS语言中最强大、最常用的内建函数之一。随着React和其他面向功...
HM参数设置多slice、多tile
Everglow_zbz的博客
10-28 840
如下随便打开一个cfg文件，Slices和Tiles部分是设置多slice和多tile的一些参数 SliceMode和SliceArgument是两个配套参数 1.当SliceMode等于0时关闭帧内slice的划分 2.当SliceMode等于1时代表每个slice内最多包含多少个CTU，数目由SliceArgument控制 3.当SliceMode等于2时代表每个slice最多有多少字节，字...
H264关于一帧完整帧被分切成多个Slice时的合并思路
热门推荐
W2Y的专栏
06-22 1万+
    在对H264进行编解码分析时，碰到一个完整视频帧被切分成多个Slice用于网络媒体传输的情况。而且接收端进行解码时需要一个完整帧(FFmpeg解码不需要拼接，内部已实现)，因此怎么拼接多个Slice呢？    对于H264视频流中关于NAL Unit句法、Slice Header结构等不是本文讲述的重点，相关资料可在网上查询，但需要对H264流媒体协议格式中的AVCC及Annex B格式有...
H264 NALU slice 模式
Up to Me
07-28 5438
slice模式下一个完整的NALU需要判断每一个slice包得第5个字节与上0x80是否等于80.还是举个例子来说明好了....比如:第一个包 00 00 00 01 65 9A …第二个包 00 00 00 01 65 00 ...第三个包 00 00 00 01 65 01
H264 slice header
最新发布
07-03
H.264编码标准中的slice header是每个视频slice（切片）的起始部分，用于存储解码该slice所需的元数据。slice header在视频编码中扮演着重要角色，它不仅描述了如何解析当前slice的数据，还包含了影响解码过程的关键参数。 ### Slice Header的基本结构 一个H.264 slice header包含多个语法元素，这些元素通过指数哥伦布编码（Exponential-Golomb coding）进行压缩。以下是一些关键字段及其用途： - **first_mb_in_slice**：表示当前slice的第一个宏块（Macroblock）的位置，以宏块为单位[^1]。 - **slice_type**：定义了slice的类型，如I-slice、P-slice、B-slice等，这决定了该slice使用的预测方式。 - **pic_parameter_set_id**：指向当前slice所使用的PPS（Picture Parameter Set）的ID。 - **colour_plane_id**：用于多平面视频格式，标识当前slice属于哪个颜色平面。 - **frame_num**：指示当前图像的帧号，用于运动补偿。 - **field_pic_flag** 和 **bottom_field_flag**：标志当前slice是否为场编码以及是顶场还是底场。 - **idr_pic_id**：仅在IDR slice中出现，用于标识该IDR图像的唯一编号。 - **poc**（Picture Order Count）：用于排序图像显示顺序。 - **冗余slice相关字段**：如`redundant_pic_cnt`，用于错误恢复机制。 - **参考帧列表重构信息**：包括`num_ref_idx_active_override_flag`、`num_ref_idx_l0_active_minus1`和`num_ref_idx_l1_active_minus1`等，控制参考帧列表的大小。 - **解码参数**：如`slice_qp_delta`、`sp_for_switch_flag`和`slice_qs_delta`等，用于量化参数的调整。 - **运动矢量预测相关字段**：如`direct_spatial_mvs_flag`，影响运动矢量的预测方法。 - **滤波器控制参数**：如`disable_deblocking_filter_idc`、`slice_alpha_c0_offset_div2`和`slice_beta_offset_div2`，控制去块效应滤波器的行为[^1]。 ### Slice Header的使用场景 slice header主要用于以下几个方面： - **解码初始化**：解码器读取slice header以确定如何处理接下来的slice数据。例如，根据`slice_type`判断是否需要执行帧内或帧间预测。 - **错误恢复**：由于每个slice独立解码，当传输过程中发生丢包时，仅受影响的slice无法正确解码，而不影响其他slice。此外，冗余slice可以提供额外的容错能力。 - **并行处理**：slice header允许将一帧分割成多个slice，从而实现并行编码/解码，提高效率。 - **自适应编码**：通过调整slice header中的参数，编码器可以根据内容特性动态改变编码策略，比如调整QP值来控制质量与比特率之间的平衡。 ### 编码实践中的注意事项 在实际编码实践中，需要注意以下几点： - **避免硬编码header**：虽然一些示例代码可能直接硬编码slice header，但这通常不适合真实应用。正确的做法是根据实际视频内容动态生成header。 - **遵循规范**：ITU-T H.264标准文档详细规定了所有语法元素的含义及编码规则，开发时应严格遵守。 - **支持多种packetization模式**：WebRTC模块支持单NAL单元、STAP-A聚合包和FU-A分片包等多种打包模式，确保能够处理不同网络环境下的传输需求[^2]。 - **调试与测试**：对于初学者来说，从简单的H.264编码器开始学习是个不错的选择，但要注意修复已知bug，比如提到的文章中存在的slice header问题。 理解slice header对于深入掌握H.264编码至关重要，尤其是在进行定制化开发或者优化现有编码器性能时。希望以上信息能帮助更好地理解和应用这一概念。 ```c // 示例代码片段展示了一个简单的函数框架，用于解析slice header中的某些字段 void parse_slice_header(const uint8_t *data, size_t length) { // 初始化位流读取器 BitstreamReader reader(data, length); // 解析first_mb_in_slice int first_mb_in_slice = read_ue_golomb(&reader); // 解析slice_type int slice_type = read_ue_golomb(&reader); // 解析pic_parameter_set_id int pic_parameter_set_id = read_ue_golomb(&reader); // 打印解析结果 printf("First MB in Slice: %d\n", first_mb_in_slice); printf("Slice Type: %d\n", slice_type); printf("PPS ID: %d\n", pic_parameter_set_id); } ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值