视频的「编解码」与「传输」的那些事儿

最新推荐文章于 2023-04-17 11:52:38 发布
原创 最新推荐文章于 2023-04-17 11:52:38 发布 · 1.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍FFmpeg在Android上的编译过程及H264格式的解析方法，涵盖FFmpeg的编译配置、JNI调用示例与H264的分层结构。

本文来自作者 Owen Chan 在 GitChat 上分享「关于视频的编解码与传输技术，你想知道的都在这里」，「阅读原文」查看交流实录

「文末高能」

编辑 | 泰龙

一、如何编译 FFmpag

准备工作

  • 下载 FFmpeg 源码 ：https://www.ffmpeg.org

  • 下载 NDK  ：http://developer.android.com/ndk/downloads/index.html

下载后文件在 Mac 中的存放路径如下：

ChendeMacBook-Pro:  compileFF 
ChendeMacBook−Pro:compileFFchenzongwen pwd 
/Users/chenzongwen/compileFF   //文件的存放路径 NDK 与FFmpeg 源码
如何编译 ffmpeg

首先进入 ffmpeg-3.0文件夹 ，在文件夹中增加 编译脚本 ffmpegConfig 文件如下图：

ffmpegConfig 文件内容如下：

#!/bin/bash

NDK=/Users/chenzongwen/compileFF/android-ndk-r11b
export PATH=$PATH:$NDK
SYSROOT=$NDK/platforms/android-19/arch-arm/
TOOLCHAIN=$NDK/toolchains/arm-linux-androideabi-4.9/prebuilt/darwin-x86_64
function build_one
{
bash  ./configure \
    --prefix=$PREFIX \
    --enable-shared \
    --disable-static \
    --disable-doc \
    --disable-ffserver \
    --enable-cross-compile \
    --cross-prefix=$TOOLCHAIN/bin/arm-linux-androideabi- \
    --target-os=linux \
    --arch=arm \
    --extra-libs=-lgcc \
    --sysroot=$SYSROOT \
    --enable-asm \
    --enable-neon \
    --extra-cflags="-O3 -fpic $ADDI_CFLAGS" \
    --extra-ldflags="$ADDI_LDFLAGS" \
    $ADDITIONAL_CONFIGURE_FLAG
}
CPU=arm
PREFIX=$(pwd)/android/$CPU
ADDI_CFLAGS="-marm -mfpu=neon"
build_one
~                                                                                                                                                            
~        

然后在当前文件夹下执行如下命令：

  1. chenzongwen. / ffmpegConfig

  2. chenzongwen make -j4  //4 为 用4个 cup 进行编译

  3. chenzongwen$ make install

命令执行完之后会在当前文件夹下生成一个 android 文件夹 android/arm 文件夹中的内容如下几个文件夹：

bin 
include
 lib 
 share

include 中存放的是头文件， lib 中存放的是 so 文件 整个编译过程结束 。

如何使用 FFmpeg

  1. 在跟 anroid-ndk-r11b ffmpeg-3.0 同级的目录下 创建 jni 文件夹 执行如下命令 ：mkdir  jni

  2. 将之前编译的头文件（在 include 文件夹下）拷贝到 jni 文件夹下 并且在 jni 文件夹下创建 prbuilt 文件夹 并将之前生成的 so（在 lib 文件夹下）拷贝到 prebuilt 文件夹下， 拷贝完成后如下图：

    ChendeMacBook-Pro:jni chenzongwen$ ls
libavcodec  libavdevice libavfilter libavformat libavutil   libswresample   libswscale  prebuild
ChendeMacBook-Pro:jni chenzongwen$ ls prebuild/
libavcodec-57.so    libavfilter-6.so    libavutil-55.so  libswscale-4.so
libavdevice-57.so   libavformat-57.so   libswresample-2.so  libswscale.so

  3. 调用 so 方法 在当前文件夹下添加两个文件 Android.mk 和 Application.mk 内容分别如下
    Android.mk 内容

     LOCAL_PATH := $(call my-dir)
 include $(CLEAR_VARS)
 LOCAL_MODULE := avcodec-56-prebuilt
 LOCAL_SRC_FILES := prebuilt/libavcodec-57.so
 include $(PREBUILT_SHARED_LIBRARY)

 #include $(CLEAR_VARS)
 #LOCAL_MODULE := avdevice-56-prebuilt
 #LOCAL_SRC_FILES := prebuilt/libavdevice-57.so
 #include $(PREBUILT_SHARED_LIBRARY)

 include $(CLEAR_VARS)
 LOCAL_MODULE := avfilter-5-prebuilt
 LOCAL_SRC_FILES := prebuilt/libavfilter-6.so
 include $(PREBUILT_SHARED_LIBRARY)

 include $(CLEAR_VARS)
 LOCAL_MODULE := avformat-56-prebuilt
 LOCAL_SRC_FILES := prebuilt/libavformat-57.so
 include $(PREBUILT_SHARED_LIBRARY)

 include $(CLEAR_VARS)
 LOCAL_MODULE :=  avutil-54-prebuilt
 LOCAL_SRC_FILES := prebuilt/libavutil-55.so
 include $(PREBUILT_SHARED_LIBRARY)

 include $(CLEAR_VARS)
 LOCAL_MODULE :=  avswresample-1-prebuilt
 LOCAL_SRC_FILES := prebuilt/libswresample-2.so
 include $(PREBUILT_SHARED_LIBRARY)

 include $(CLEAR_VARS)
 LOCAL_MODULE :=  swscale-3-prebuilt
 LOCAL_SRC_FILES := prebuilt/libswscale-4.so
 include $(PREBUILT_SHARED_LIBRARY)

 include $(CLEAR_VARS)

 Application.mk 的内容如下 ：

 ChendeMacBook-Pro:jni chenzongwen$ vim Application.mk 
 APP_ABI := armeabi
 #APP_ABI := armeabi-v7a
 APP_PLATFORM := android-10

编写调用文件 在当前文件夹下创建 **.c 文件 内容如下（文章结束会给出全部源码）：

JNIEXPORT jint JNICALL Java_tan_h264_FFmpegNative_decode_1file
  (JNIEnv *env, jobject obj, jstring filePath) {   // jni 方法的定义
  //todu
}

JNIEXPORT jint JNICALL Java_tan_h264_FFmpegNative_decodeFrame
  (JNIEnv *env, jobject obj, jbyteArray in, jint inSize)
{ 
//todo
}

开始编译 在 jni 目录下执行：

ChendeMacBook-Pro:jni chenzongwen$ ../android-ndk-r11b/ndk-build

最后将 如下目录下的 so 拷贝到工程中就可以使用了。

ChendeMacBook-Pro:armeabi chenzongwen$ pwd
/Users/chenzongwen/compileFF/libs/armeabi
ChendeMacBook-Pro:armeabi chenzongwen$ ls
libavcodec-57.so    libavutil-55.so  libswscale-4.so
libavfilter-6.so    libowenchan_Test.so
libavformat-57.so   libswresample-2.so
ChendeMacBook-Pro:armeabi chenzongwen$

二、Android App 中如何调用 FFmpag so, jni 技术的讲解

java 层代码调用如下：

import android.graphics.Bitmap;

import java.nio.ByteBuffer;

public class FFmpegNative {
    static {
        System.loadLibrary("avutil-54");
        System.loadLibrary("swresample-1");
        System.loadLibrary("avcodec-56");
        System.loadLibrary("avformat-56");
        System.loadLibrary("swscale-3");
        System.loadLibrary("avfilter-5");
        System.loadLibrary("avdevice-56");
        System.loadLibrary("ffmpeg_codec");
    }

    public native int decode_init();

    public native int decode_file(String filePath);

    public native int decodeFrame(ByteBuffer in, int inSzie);

    public native int decodeFrame2(ByteBuffer in, int inSzie);

    public native int copyFrameRGB(ByteBuffer out);

    public native int copyFrameYUV420p(ByteBuffer out);

    public native int copyFrame2(ByteBuffer outY, ByteBuffer outU, ByteBuffer outV);
}

三、H264 格式

H.264分为两层

（一） H264 分为两层

  1. 视频编码层 (VCL: Video Coding Layer): 进行视频编解码，包括运动补偿预 测，变换编码和熵编码等功能;

  2. 网络 取层 (NAL: Network Abstraction Layer): 用于采用适当的格式对VCL 视频数据进行封装打包;VCL需要打包成NAL,才能用于传输或存储.

（二）分层的目的

  1. 可以定义 VCL 视频压缩处理与 NAL 网络传输机制的接口，这样允许视频 编码层 VCL 的设计可以在不同的处理器平台进行移植，而与NAL层的数据封装格 式无关;

  2. VCL 和 NAL 都被设计成工作于不同的传输环境，异构的网络环境并不需要 对 VCL 比特流进行重构和重编码。

（三）NALU 单元(NAL Unit)

H264 基本码流由一系列的 NALU 组成，组成结构如下

  • NALU:  Coded H.264 data is stored or transmitted as a series of packets known as Network Abstraction LayerUnits. (NALU单元)

  • RBSP : A NALU contains a Raw Byte Sequence Payload, a sequence of bytes containing syntax elements.(原始数据字节流)

  • SODB：String Of Data Bits (原始数据比特流, 长度不一定是8的倍数，需要补齐)

Start code

一共有两种起始码：3字节的 0x000001 和4字节的 0x00000001; 

如果 NALU 对应的 Slice 为一帧的开始，则用4字节表示，即 0x00000001; 

否则用3字节 0x000001 表示，就是一个完整的帧被编为多个slice的时候，包含这些 slice 的 nalu 使用3字节起始码。

由于NAL的语法中没有给出长度信息，实际的传输、存储系统需要增加额外 的起始头实现各个 NAL 单元的定界。

先识别 H264 起始码 0x00000001；

接着读取NALU的header 字节，判断后 RBSP类型，相应的 六进制类 型定义如下:

0x67: SPS
0x68: PPS
0x65: IDR
0x61: non-IDR Slice 0x01: B Slice
0x06: SEI
0x09: AU Delimiter

从 读出的 个 H.264 视频帧以下 的形式存在: 0000000167… SPS

0000000168... PPS
00 00 00 01 65 ... IDR Slice

剩下的几个部分是视频的传输压缩与解压，我做 Chat 交流的时候对着代码来分析。

代码下载地址：https://github.com/chenzongwen/SimpleFFmpeg

界面如下：

近期热文

《手把手教你如何向 Linux 内核提交代码》

《Java 实现 Web 应用中的定时任务》

《沉迷前端，无法自拔的人，如何规划职业生涯？》

《TensorFlow 计算与智能基础》

《突破技术发展瓶颈、成功转型的重要因素》

《Selenium 爬取评论数据，就是这么简单！》


你和普通的程序员最大区别

在于

「阅读原文」看交流实录，你想知道的都在这里

RAW和YUV格式区别大揭秘！手把手带你搞懂视频数据那些事儿
weixin_43199439的博客
08-23 261
RAW和YUV虽然同是视频图像数据，却扮演着完全不同的角色。RAW是“纯粹的感光信息”，是算法大杀器；YUV是“高效的视频语言”，是编码传输利器。作为一线工程师，我常常在这两者之间切换，调优算法和压缩策略。只有真正理解它们的本质，才能玩转车载智能视觉，打造极致体验。
视频编解码传输基础
jakezhang1990的专栏
01-14 823
视频传输通话流程： 手机摄像头的数据格式是nv21，数据为什么采用yuv而不采用rgb呢？ argb表示像素需要的字节更大。每个像素都需要4字节表示亮度a，4x3字节表示rgb三色值，一共需要4x4=16字节； YUV方式，同样还是用4个字节表示亮度，剩下一个字节表示u，一个字节表示v，这样就表示出了这个像素，只需要4+1+1=6字节。 因为人眼对亮度是比较敏感的，所以要尽可能的保存更多的亮度的值来精确表达亮度的实际值，人眼对色度不太敏感，所以可以降低色度的存储的数据，不用那么精确的表达色度的实际值，人眼
视频压缩和传输的几个基本概念，都快忘记了_拔剑-浆糊的传说_新浪博客
拔剑—浆糊的传说
08-07 97
1. I帧（intraframe, key frame），P帧和B帧 http://blog.youkuaiyun.com/abcjennifer/article/details/6577934 http://www.cnblogs.com/lcchuguo/p/3998164.html https://zhidao.baidu.com/question/625164223485384364.ht...
音视频传输流程和编解码基本概念
weixin_40355471的博客
04-22 3464
音视频解码流程图 解协议：将流媒体协议(HTTP，RTMP等)的数据，解析为标准的相应的封装格式数据 解封装：将输入的封装格式的数据(MP4，MKV，RMVB，TS，FLV，AVI等)，分离成为音频流压缩编码数据(如AAC编码的音频码流)和视频流压缩编码数据(如H.264编码的视频码流) 解码：将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据，音频的压缩编码标准包含AAC，MP3，AC-3等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等，通过解码视频数据输出成为非压缩的颜色数据，例
视频传输设备的特点与技术构成
产业互联网&消费类电子
12-21 1136
网络时代给我们缔造了一个信息化的丰富世界，通过网络可以了解很多的新鲜事物与知识，开阔了我们的眼界，网络视频服务器带给了我们更加直观的感受，下面不妨一起去简单地了解一下网络视频服务器。 　　网络视频服务器的概念 　　网络视频服务器是一种对音视频数据进行编码处理并完成网络传输的专用设备，从而实现远程监控的功能。市场上的网络视频服务器现在存有采用M—JPEG、MPEG4、H264等多种编码技
视频传输原理解码
weixin_44828588的博客
01-24 6000
视频传输原理 视频是由一幅幅帧图像和一组音频构成的，视频的播放过程可以简单理解为一帧帧的画面按照时间顺序呈现出来的过程。但是在实际应用中，并不是每一帧都是完整的画面，因为如果每一帧画面都是完整的图片，那么一个视频的体积就会很大。这样对于网络传输或者视频数据存储来说成本太高，所以通常会对视频流中的一部分画面进行压缩（编码）处理。 编码器将多张图像进行编码后生产成一段一段的GOP ( Group of Pictures )如下图，解码器在播放时则是读取一段一段的GOP进行解码后读取画面再渲染显示。...
视频编解码原理
gejiangbo222的专栏
11-15 1789
视频编解码
iOS音视频的那些事儿（一）：数据的采集和编码
irainsa的博客
03-15 908
AVFoundation是苹果在iOS和OS X系统中用于处理基于时间的媒体数据的Objective-C框架. 供使用者来开发媒体类型的应用程序。如果只是进行简单的视频录制，使用UIKit中的就可以了。如果需要播放视频，使用AVKit框架也足够了。但是如果需要进行视频文件的处理等更灵活等操作，就需要使用到AVFoundation等底层的框架了。
实时音视频的那些事儿（一）
weixin_42684521的博客
03-08 399
音视频的那些事儿，今天介绍一下音视频技术的基础知识
实时音视频的那些事儿（三）—— 音频编码
weixin_42684521的博客
03-09 493
前言上一篇文章中我们讲到了如何在iOS、Android、Windows平台实现音频采集，今天将介绍如何实现音频的编码。
上传视频功能源码 附带转码解码工具 jar包 C过去就可以用
10-30
关于上传的代码都在压缩包里头了，copy过去就可以使用，附带解码转码工具！
基于H.265编解码高清视频传输系统
maomaomusic_com的博客
11-21 1万+
胡博, 赵旦峰, 王中刊. 基于H.265编解码高清视频传输系统[J]. 应用科技, 2017, 44(1): 27-32.  HU Bo, ZHAO Danfeng, WANG Zhongkan. High-definition video transmission system based on H.265[J]. Applied Science and Technology, 2017,
西瓜视频登录页面
热门推荐
bo1029的博客
03-18 46万+
页面效果
使IE8以下的IE浏览器也支持图片的data协议
Less is More
11-06 594
参见[url]http://www.phpied.com/mhtml-when-you-need-data-uris-in-ie7-and-under/[/url] 测试页面：[url]http://phpied.com/files/mhtml/mhtml.html[/url] 原理是使用MHTML（Multipurpose Internet Mail Extensions HyperTe...
对话大咖 | 人工智能+视频编解码能带来新的变革吗
REDtech_1024的博客
04-17 703
是的，传统编码都是基于概率的方式，但深度学习的理论基础目前在任何一个领域当中都是难题。第二，我们可以用一些基于 AI 预分析的手段指导传统编码框架，比如通过 AI 的简单网络结构，识别一些感兴趣的区域，或者是有噪声的区域，识别出来以后，经过一些比较简单的处理，来支撑视频编码的性能提升，这是没有什么问题的。而机器是有目的性的，这和人眼被动接收信息不同，机器可能最开始在接收视频信号时就被赋予了某一个任务目标，所以它会忽略其他的事情，它对于视频的理解也很简单，就是要追踪目标对应的特征，这更多的是一种计算。
必看链接
Celebrity_Senior的博客
11-30 1109
1、通过分析 JDK 源代码研究 Hash 存储机制 http://www.cnblogs.com/Qian123/p/5703179.html2、ZooKeeper的安装、配置、启动和使用 http://www.2cto.com/os/201503/386161.html3、dubbo的安装和使用 http://www.tuicool.com/articles/QjaArm 4、dubbo-adm
全面解析视频编解码：原理、策略、实现
ToDeskEnterprise的博客
06-01 6141
揭秘高质量远程桌面的三大核心技术之一——视频编解码技术
H264视频传输、编解码----RTSP协议
猿诗人的博客
01-28 2万+
RTSP(Real Time Streaming Protocol), 实时流传输协议, 它是TCP/IP协议体系中的一个应用层协议 它是对流媒体进行控制 的网络控制协议，可以对流媒体提供诸如播放、暂停、快进、停止等操作，它负责定义具体的控制消息、操作方法、状态码等，此外还描述了与RTP间的交互操作。 但是，实时流的传输并不是它负责，而是交给RTP、RTCP协议。 RTSP发送的指令一般通过
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值