avcodec_decode_video解码的帧为什么后面的比前面的pts小

最新推荐文章于 2024-07-27 20:27:23 发布

Creak_Phone

最新推荐文章于 2024-07-27 20:27:23 发布

阅读量1.6k

点赞数

分类专栏： FFMPEG

FFMPEG 专栏收录该内容

8 篇文章

订阅专栏

本文探讨了音视频编解码过程中的关键概念，如B帧处理、PTS和DTS的作用，以及如何确保音视频同步。通过具体示例，解析了不同场景下编解码器的工作机制。

如下代码：
while( av_read_frame(pFormatCtxSource,&packet)>=0 )
{
if( packet.stream_index==videoStream )
{
      int out_size = avcodec_decode_video(pCodecCtxSource,pFrameSource, &bFrameFinished, packet.data, packet.size); // Decode fromsource frame

      if( bFrameFinished )
      {
         pFrameSource->pts =av_rescale_q(packet.pts, pCodecCtxSource->time_base,pStCodec->time_base);
         int out_size =avcodec_encode_video(pStCodec, video_buffer, 200000, pFrameSource); // Encodeto output
         if( out_size>0 )
         {
            // ...
         }
      }
}

av_free_packet(&packet);

}

在我Decode的时候，第一帧得到的 pFrameSource->pts 是96，再解第二帧的时候，pFrameSource->pts 计算完后就成了80几，后几帧也是比96小，过一会又会解出来一个100多的，接下来又是比100多小的，这是为什么？在Encode的时候，先 Encode一个pts=96的，再去Encode比96小的帧就返回-1了，直到找到一个比96大的。

另外，我计算pts的方法正确吗？

答复：

Because you have B - Frame

for example:

the Inputsequence for video encoder
1  2  3 4 5 6 7
I B B P  B B I

Let's take1,2,3.. as PTS for simplification

the out sequencefor video encoder ( this equals the decoder sequence)
1  4  2 3 7 5 6
I  P B B I B B

you will get aPTS sequence as following:

1  4  2  3  7  5  6

7  5 6sequence will be same as your question

问：

哦，那是不是我的pts不能这么算呢？而是要每次+1,对吗？那么，packet中的pts和dts要用在什么地方呢？我这样按存储顺序进行解码的话，显示之前是不是要自己进行缓存呢？谢谢！

另外，还有个问题，既然解码的时候，不一定是按照pts递增的顺序得到的解码后的画面，那我在编码图像的时候，是应该按照解码出来的帧顺序进行编码吗？还是把帧先缓存起来，最后严格接照图像的显示顺序来编码呢？用代码来表示，就是：
方法一：
while(av_read_frame )
{
解码;
pts+1;
编码;
输出;
}

方法二：
while(av_read_frame )
{
解码;
if( pts<previous )
{
       缓存;
}
else
{
       编码缓存的帧并写入文件;
}
}

这两个方法，哪个是正确的呢？因为我看到网上的代码都用的是方法一，但是我觉得方法二是对的呀？

答：

the output of decoderis the right order for display because I/P frames will be cacheduntil next I/P

理解：

Decoder 后output的pts 是按正常的顺序，即显示的顺序输出的，如果有B帧，decoder会缓存。

但encoder后，输出的是按dts输出的。

Pts,dts并不是时间戳，而更应该理解为frame的顺序序列号。由于每帧frame的帧率并不一定是一致的，可能会变化的。转换为时间戳的话，应该是（pts*帧率）。为加深理解

可以将pts比做是第pts帧frame，假设每帧的帧率不变的话，则显示的时间戳为（pts*帧率），如果考虑帧率变化的，则要想办法将（pts*当前的帧率）累加到后面。

在tutorial5中在decode 下增加trace后打印情况：

len1 = avcodec_decode_video(is->video_st->codec,pFrame, &frameFinished,

packet->data,packet->size);

printf("-----------------------------------------------------------------------------n");

printf("avcodec_decode_videopacket->pts:%x,packet->dts:%xn",packet->pts,packet->dts);

printf("avcodec_decode_videopFrame->pkt_pts:%x,pFrame->pkt_dts:%x,pFrame->pts:%xn",pFrame->pkt_pts,pFrame->pkt_dts,pFrame->pts);

if(pFrame->opaque)

printf("avcodec_decode_video*(uint64_t *)pFrame->opaque:%xn",*(uint64_t *)pFrame->opaque);

其中播一个mp4文件的打印情况：

-----------------------------------------------------------------------------

avcodec_decode_video packet->pts:1ae,packet->dts:0