鸿蒙开发知识记录

作者：恋猫de小郭基础知识首先是基础知识，本次分享在这一块会占据很大比例，为什么要和大家聊音视频的基础知识？这就又要考古我很久前的一个经典 issue ，如图所示：在维护 GSYVideoPlayer 这 5 年多的时间里，关于类似的基础的问题其实收到不少，只是这个比较典型，而处理这些问题的流程都是类似，举个例子，我收到最多的视频播放问题应该是“播放黑屏，播放失败，xxx能播为什么GSY不能播？”每次遇到这种问题的时候，我都会问：“视频编码是什么？”而很大概率我收到的回复就是 ：.

好文推荐：作者：码上就说播放流程介绍播放视频的流程想必大家都非常清楚了，大家先看一下下面的视频播放的简单流程图：解封装之后得到的数据包，有音频数据包和视频数据包，这时候一般会准备两个队列，一个存放视频数据包，一个存放音频数据包。FFmpeg中使用av_read_frame来读取数据包，读出的数据包存放在 AVPacket中如果发现packet是音频，就放在音频队列中如果发现packet是视频，就放在视频队列中队列的大小是有限制的？如果达到了队列大小的限制，就应该挂起当前的读取包的线.

作者：声网Agora我们知道 Camera 采集回传的是 YUV 数据，AudioRecord 是 PCM，我们要对这些数据进行编码(压缩编码)，这里我们来说在 Android 上音视频编解码逃不过的坑-MediaCodec。MediaCodecPSMediaCodec 可以用来编/解码 音/视频。MediaCodec 简单介绍MediaCodec 类可用于访问低级媒体编解码器，即编码器/解码器组件。 它是 Android 低级多媒体支持基础结构的一部分（通常与 MediaExtracto.

1. 背景介绍15年移动端直播应用火起来的时候，主要的直播协议是RTMP，多媒体服务以Adobe的AMS、wowza、Red5、crtmpserver、nginx rtmp module等，后面过长RTMP服务SRS开始流行。Android端播放器主要以开始以EXOPlayer播放HLS，但是HLS有延迟高的确定，随后大家主要使用开源的ijkplyer，ijkplayer通过ffmpeg进行拉流及解码，支持多种音视频编码，还有跨平台，API与系统播放器保持一致等特征，后续各大厂提供的直播SDK均有ijkp

目前市场中使用音视频技术的公司太多了，大到全民观看短视频，小到直播带货，大家平均在手机上消耗的时间也越来越多。总的来说，国内的音视频行业可以划分为三类：第一类：短视频抖音、快手、微视等短视频平台大量使用音视频技术，主要以视频内容为主，对视频压缩性要求高，尽可能做到视频文件小的同时,保证清晰度高。第二类：直播带货京东、淘宝；斗鱼、虎牙等将直播带到大家面前，前者以直播带货为主，后者以直播消费为主，对技术的要求做到：直播秒开、延时性低、在弱网环境下也能保证正常收看直播。第三类：即