Linuxhus的博客

音视频涉及语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等。在现实生活中，音视频发挥着越来越重要的作用，如视频会议、直播、短视频、播放器、语音聊天等。所以从事音视频开发是一件有意义的事情，机遇和挑战并存。本文将从：音视频开发基础、音视频高级成长、音视频工作方向、音视频开源库、音视频相关书籍，配套的学习资源等几个方面来进行介绍。那么我们该如何系统的学习音视频开发呢？需要学习掌握哪些内容？【文末彩蛋】

一：多人互动架构方案（一）WebRTC回顾，两层含义：1.WebRTC是google开源的流媒体客户端，可以进行实时通讯，主要应用于浏览器之间进行实时通讯，也可以单独编译在自己的应用中2.WebRTC也是一套规范，只对客户端做了定义，如何进行媒体协商、通信流程...;对于服务端，比如信令服务端、中继服务，并没有在WebRTC中定义，由厂商定义;对于多人互动方案也没有定义（二）3种框架进行多人互动Mesh方案：从WebRTC客户端演变过来，多人互动--->变为多个1V1通讯，

1、概述H264是MPEG-4标准所定义的最新编码格式，同时也是技术含量最高、代表最新技术水平的视频编码格式之一，标准写法应该是H.264。H.264视频格式是经过有损压缩的，但是在技术上尽可能做到降低存储体积下获得较好图象质量和低带宽图像快速传输。2、相关概念下图为H.264码流分层2.1 VCL&NALH264 原始码流是由一个接一个 NALU（NAL Unit） 组成，它的功能分为两层，VCL（Video Coding Layer）视频编码层和 NAL（Network

音视频开发成长之路—进阶之路3个重要知识点视频讲解如下，点击观看：音视频开发成长之路—进阶之路3个重要知识点丨WebRTC丨FFmpeg丨SRS流媒体服务器丨C++音视频丨嵌入式音视频音视频高级开发学习学习资料链接：FFmpeg/WebRTC/RTMP音视频流媒体高级开发-学习视频知识点包括有FFmpeg/WebRTC/RTMP/RTSP/HLS/播放器-音视频流媒体高级开发。更多音视频开发精彩内容关注VX公众号：Linux服务器...

目录一：WebRTC学习了解  （一）WebRTC应用场景  （二）WebRTC的难点  （三）学习流程  （四）学习目标二：WebRTC介绍  （一）概述  （二）WebRTC可以实现的功能  （三）WebRTC学习内容三：WebRTC原理与架构  （一）核心层解析  （二）引擎层：音频引擎、视频引擎、传输模块补充：虽然UDP很适合实时通讯，但是也有需要使用TCP的场景四：WebRTC目录结构  （一）主目录结构  （二）WebRTC Module目录五：WebRTC.

SRS 4.0开发环境搭建视频讲解如下，点击观看：音视频开发-SRS 4.0开发环境搭建丨webrtc丨FFmpeg丨SRS流媒体服务器开发音视频高级开发学习学习资料链接：FFmpeg/WebRTC/RTMP音视频流媒体高级开发-学习视频知识点包括有FFmpeg/WebRTC/RTMP/RTSP/HLS/播放器-音视频流媒体高级开发。更多音视频开发精彩内容关注VX公众号：Linux服务器...

0 SRS 4.0流媒体服务器入门系列结合SRS官方Wiki以及本人对SRS的理解，推出《SRS 4.0流媒体服务器入门系列》，包括内容：SRS 4.0 开发环境搭建 SRS 4.0 配置支持WebRTC推拉流 SRS 4.0 RTMP推拉流转发原理，包括延迟分析 SRS 4.0 支持WebRTC一对一通话，包括信令原理讲解 SRS 4.0 支持WebRTC多人通话，包括信令原理讲解 SRS 4.0 RTMP to WebRTC原理分析 SRS 4.0 WebRTC to RTMP 原理

WebRTC相关视频讲解：什么是WebRTCWebRTC入门到精通该怎么学？WebRTC框架剖析音视频流媒体高级开发：FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发背景由于项目需要，需要使用摄像头预览功能，设备型号为海康威视。目前已存在的基于 FFmpeg 的方案延迟都太高，所以项目最终选择基于此方案。方案方案选用为基于 WebRTC 的视频即时通讯，它原生支持对 RTP 协议的解码，所以能够做到延迟很低，大概0.2-0.4秒左右，其他方案都

音视频面试必问的直播延迟分析1.直播延迟500ms是极限吗，加上WebRTC能做到多少2.推流的延迟分析3.流媒体服务器延迟分析4.拉流的延迟分析视频讲解如下，点击观看：音视频开发-音视频面试必问的直播延迟分析丨FFmpeg|SRS流媒体服务器|webrtc|Android NDK开发|HTTP-FLV|RTSP音视频高级开发学习学习资料链接：FFmpeg/WebRTC/RTMP音视频流媒体高级开发-学习视频知识点包括有FFmpeg/WebRTC/RTMP/RTSP/HLS/播..

SRS流媒体服务器架构设计及源码分析1.SRS流媒体服务器架构设计2.协程-连接之间的关系3.推流-转发-拉流之间的关系4.如何手把手调试SRS源码视频讲解如下，点击观看：SRS流媒体服务器架构设计及源码分析丨音视频开发丨C/C++音视频丨Android开发丨嵌入式开发音视频高级开发学习资料链接：FFmpeg/WebRTC/RTMP音视频流媒体高级开发-学习视频...

近年来直播已成为互联网行业的大热话题，直播答题、游戏直播、竞赛直播，抖音直播，直播教育等层出不穷，直播早已成为人们耳熟能详的技术。事实上直播的兴起不仅与新时代人们要求为自己代言的心理有关，同时也得益于带宽的提速和CDN技术的发展。伴随着CDN技术的成熟，企业自己部署云服务器做直播也越来越简单。本文作为直播介绍系列文，主要和大家谈谈直播协议、视频推流等技术内容1.直播协议（文末附上学习路线导图）流媒体分为直播和点播。通常来说点播使用的都是HTTP协议，直播主要用的是RTMP, HLS, HTTP-

目录1.为什么要学习音视频？2.如何学习系统性音视频？3.音视频相关的资料最近有朋友问想学习音视频，应该怎么学，有什么资料吗？这个问题也困扰我很久，几年前就想开始音视频相关的学习，但是一直找不到门道，坚持不过两周。回看这个系列文章，之前也有写过很多了，虽还不敢说已入门，因为越学越发现 不会的知识、需要学的东西就越多。但为什么相比过去几年的几次尝试，这次持续时间更长、不断有文章输出呢？ 这篇文章就和对自己进行检视反思，希望对想学习音视频的朋友也有所帮助。为什么要学习音视频？我是做a

一、FFmpeg 播放视频的基本流程整理播放流程: video.avi(Container) -> 打开得到 Video_Stream -> 读取Packet -> 解析到 Frame -> 显示Frame。 Container：在音视频中的容器，一般指的是一种特定的文件格式(如 AVI/QT )，里面指明了所包含的音视频，字幕等相关信息。 Stream：媒体流，指时间轴上的一段连续数据，如一段声音、视频或字幕数据。 Packet：Stream中的Raw

快速掌握音视频开发的第一个开源项目:FFmpeg1.为什么要学FFmpeg2.FFmpeg面向对象思想分析3.FFmpeg各种组件剖析视频讲解如下，点击观看：【音视频开发系列】一学就会，快速掌握音视频开发的第一个开源项目FFmpeg音视频高级开发学习视频链接：FFmpeg/WebRTC/RTMP音视频流媒体高级开发-学习视频音视频高级开发qun：720209036。 更多Linux服务器开发精彩内容关注VX公众号：Linux服务器...

1.职业发展的迷茫前几天发了一篇关于音视频开发学习录总结，文章链接：https://blog.youkuaiyun.com/Linuxhus/article/details/112705431收到一些网友的来信或者留言，反馈如下这样的困惑：1、“我是一名应届毕业生，该如何快速地成长起来”2、“我只懂 C/C++，是学 Android 开发有前途，还是 iOS 开发有前途？”3、“我是一名 Android/iOS 开发，已经可以独立完成一个完整的 App 开发上线，该如何继续提升？”4、“我想从事

我们先假设某人在音视频方面是零基础，也没学过任何数字信号处理相关知识，数学基础基本是高中水准，但是熟悉 C/C++ 开发，至少熟悉某一个平台下的编译调试IDE。着重研究两个开源项目 ffmpeg 和 webRTC，主要看ffmpeg的视频部分和webRTC的音频部分。首先，从视频解码入手，这个最简单，调用 ffmpeg视频解码的基本代码只有100行左右，视频解码只要搞懂h.264就好了，80%+场景都是这个编码格式了，了解基本的 H.264 的 sps pps NAL等文件格式概念，了解YUV图像格式原

聊聊RTSP/RTMP推流那些坑1.推流架构分析2.推流缓存队列的设计3.FFmpeg函数阻塞问题分析【音视频开发系列】盘点音视频直播一定会遇到的各种坑，教你快速解决更多精彩内容包括:C/C++，Linux，Nginx，ZeroMQ，MySQL，Redis，MongoDB，ZK，流媒体，P2P，Linux内核，Docker，TCP/IP，协程，DPDK多个高级知识点分享。点击：https://ke.qq.com/course/417774?flowToken=1013189视频代码

全球最牛开源流媒体服务器源码分析1.如何学习流媒体服务器2.全球最牛流媒体服务器架构分析3.我们能从全球最牛流媒体服务器得到什么【音视频开发系列】srs-webrtc-janus流媒体服务器分析更多精彩内容包括:C/C++，Linux，Nginx，ZeroMQ，MySQL，Redis，MongoDB，ZK，流媒体，P2P，Linux内核，Docker，TCP/IP，协程，DPDK多个高级知识点分享。点击：https://ke.qq.com/course/417774?flowTok..

音视频开发是个非常复杂的，庞大的开发话题，初涉其中，先看一下结合OEIP(开源项目)新增例子。　　可以打开flv,mp4类型文件，以及rtmp协议音视频数据，声音的播放使用SDL。　　把采集的麦/声卡数据混合并与采集的视频信息写入媒体文件或是RMTP协议中。图片主要属性　　包含长/宽/通道数/像素格式(U8/U16/F32)，以及排列格式RGBA/YUV。其中通道与像素格式，如在opencv中，CV_8UC1/CV_8UC4，表示1个通道与4个通道的U8格式。...

如何更快速地掌握FFmpeg1.为什么要学FFmpeg2.FFmpeg面向对象思想分析3.ffplay、ffmpeg命令如何编程实现4.流媒体服务器要怎么学【技术分享篇】音视频开发——如何快速学习FFmpeg丨ffplay、ffmpeg命令如何编程实现更多Linux服务器开发高阶完整视频分享，点击链接即可观看：https://ke.qq.com/course/417774?flowToken=1013189内容包括:C/C++，Linux，Nginx，ZeroMQ，MySQL，Red

什么是WebRTC◼ WebRTC（Web Real-Time Communication）是 Google于2010以6829万美元从 Global IP Solutions 公司购买，并于2011年将其开源，旨在建立一个互联网浏览器间的实时通信的平台，让 WebRTC技术成为 H5标准之一。WebRTC时代来临所有主要的浏览器的兼容WebRTC现在得到了所有主要浏览器的支持和采用，...