基于iOS的网络音视频实时传输系统（二）- 捕获音视频数据

最新推荐文章于 2020-04-03 09:02:46 发布
原创 最新推荐文章于 2020-04-03 09:02:46 发布 · 置顶 · 2.6k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#session #视频 #网络 #编码

本文介绍了如何在iOS中利用AVCaptureSession捕获音视频数据，并通过代理处理设备捕获的数据。在实现过程中，遇到了视频画面旋转的问题，通过在server端调整捕获视频的output解决了此问题。此外，提供了系列文章链接，覆盖从音视频捕获到编码、传输和解码的全过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

下载


GitHub：

client 端：https://github.com/AmoAmoAmo/Smart_Device_Client

server端：https://github.com/AmoAmoAmo/Smart_Device_Server

另还写了一份macOS版的server，但是目前还有一些问题，有兴趣的去看看吧：https://github.com/AmoAmoAmo/Server_Mac



获取音视频数据，这里使用的是AVCaptureSession，可以方便地自定义相机界面，看起来大概是这样的：


关于AVCaptureSession的使用步骤这里不赘述，网上一搜一大把，无非就是设置输入输出对象，

最低0.47元/天 解锁文章

200万优质内容无限畅学
基于iOS的实时网络音视频传输系统
DsiCoder的博客
09-21 240
通过使用AVFoundation框架进行音视频捕获和处理，并结合网络传输协议，我们可以实现实时的音视频传输。要实现一个完整的实时音视频传输系统，我们还需要在远程端实现音视频数据的接收和解码，并播放音视频数据。这超出了本文的范围，但可以使用类似的技术和框架，如AVFoundation和WebRTC，来实现远程端的音视频播放和处理。通过设置会话的输入和输出，我们可以从摄像头和麦克风中捕获音视频数据。在实际的应用中，我们可以使用适当的音视频编码器对数据进行编码，并使用UDP协议将数据发送到远程接收端。
基于iOS的网络音视频实时传输系统（五）- 使用VideoToolbox硬解码H264
念念不忘，必有回响。
10-12 2351
client端--接收音视频数据，并解码H264、AAC
基于iOS的网络音视频实时传输系统(H264+pcm+videoToolbox)无第三方实现
04-11
基于iOS的网络音视频实时传输系统(H264+pcm+videoToolbox)无第三方实现 tcp 局域网 编解码 音视频 https://blog.csdn.net/github_35041937/article/details/89192781
基于iOS的网络音视频实时传输系统（一）- 前言
念念不忘，必有回响。
09-24 6162
之前在做类似的网络协议的时候，突发奇想，想写一个网络视频监控，基于局域网的情况下，将MacBook摄像头捕获到的视频，在手机端显示，但是由于对macOS不是很熟悉，最终导致该计划流产。所以后来干脆使用手机捕获视频数据。 为了简化项目工作量，socket协议也只用到了一些必要的功能，其他细节如client端退出监控视频时，server端会crash，各位有需要可以自行去添加一些如设置select()函数，或者设置signal()函数忽略这个断开的信号。等等 项目中没有写录制设备视频的功能，所以没有用到MP4
iOS 简单的视频直播功能开发(实时视音频流录制编码+RTMP传输+实时拉流解码播放)
pilgrim1385的专栏
06-15 1万+
推流端：自己开发难度很大，视频直播就被卡死了，音频根本没来得及弄，最终使用了github上开源的框架。                原生开发基本流程：AVFoundation获取视频流，得到未编码的CMSampleBuffer，需要编码成Mpeg-4格式。编码分软编码和硬编码，考虑到iOS8之后VideoToolBox开放使用，选用VideoToolBox进行编码。坑爹的是针对它连
音视频数据介绍
zuiyijiangnan的博客
04-03 1495
1、前言 在诸如安防系统标准GB28181和“电网视频监控系统及接口”中，固定视频流的传输格式为PS格式。PS流和TS流的概念是在MPEG2的ISO/IEC－13818标准的第一部分“系统”中提出的。其提出的目的是提供MPEG2编码比特的存储与传输方案。 2、先介绍PS封装中的基本元素 1）ES ES--Elementary Streams (原始流)是直接从...
音视频数据相关
zhangbinHn的专栏
05-10 436
视频编码H264理论依据：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内。实现策略：所以对于一段变化不大图像画面，我们可以先编码出一个完整的图像帧A，随后的B帧就不编码全部图像，只写入与A帧的差别，这样B帧的大小就只有完整帧的1/10或更小！B帧之后的C帧如果变化不大，我们可以继续以参考B的方式编码C...
基于iOS的网络音视频实时传输系统（四）- 自定义socket协议(TCP、UDP)
念念不忘，必有回响。
07-01 2605
首先我们需要明确一点的就是，为什么需要自定义socket协议？ ① 客户端与服务器间的相互通信是异步的 ② 理论上，二者都可以任意地发送或者接受数据 ③ 但是实际上，它们应该配合：当client发送时，server接受； 当server发送时，让client去接受 ④ 那么，任何让它们二者配合默契，相互协调呢？ ⑤ 这就引出了我们需要的——应用底层协议来解决 ⑥ 这个所谓的协议，实质上就是代码 我们都知道，TCP或者UDP的握手协议（三次握手 三次挥手之类）， 不过这些协议都已经被封装在了TC
音视频开发-YUV数据
CaicaiNo.1
06-16 418
YUV数据类型 h264编码中，我们使用YUV数据类型进行传输，从采集端采集的RGB转YUV，通过网络传输到接收端，YUV再转成RGB进行显示。 期间涉及数据的压缩，RGB->YUV数据，数据大小比率为2：1，即RGB占用的数据大小为(Width * Height)*3,因为一个像素点需要红黄蓝三种数据表示，而YUV数据则只需要 (Width * Height)*3/2,因为YUV每一个像...
ios 录音播放udp数据包传输过来的pcmData流
03-08
https://blog.csdn.net/github_35041937/article/details/88354621 一般的文章都会写pcm文件的播放 以及pcm文件的录音 我这里写的是一台手机录音 把采集到的pcm数据 通过socket 发送给服务端 另外一台手机作为服务端 把从socket端接收到的pcm数据 通过麦克风播放出来就搞定。 https://www.jianshu.com/p/5f0b807e5a73 这篇文章写了udp的通讯 然后我自己添加了录音的部分 使用了AudioUnit 这种方案可以做到低延时 还添加了AudioQueue的方案进行播放 因为udp的不可靠性 我要防止udp的丢包和粘包 于是加上了 协议头 音频标识 音频长度 拼接在最前面 我没处理粘包改怎么做，建议你们自己加，大概思路就是 把两个包合成一个包来处理即可。 写这篇文章的时候还参考了另外一篇文章的思路 https://www.jianshu.com/p/d903d2c8ffd2 说到了遇到网络卡该怎么处理 一点是要缓冲一段再播放， 另外一点就是加上空的静音包， 来保障音频的连续性。
Capture (采集)音频图像视频 基于ngcordova
I_LOVE_US的专栏
11-02 2057
http://ngcordova.com/docs/plugins/capture/ This plugin allows you to record sound, video and images through the native capabilities of the device. $ cordova plugin add org.apache.cordova.med
iOS音视频封装与传输demo
xujinquan19的专栏
08-24 288
ios没有直接得api用来封装传输rtp，但是经常有用到得接收过来得音视频数据，经过X264处理转换便可以封装为Rtp包进行直接发送。大家可以看代码： #include "rtpsession.h" #include "rtppacket.h" #include "rtpudpv4transmitter.h" #include "rtpipv4address.h" #inc...
iOS 录音，播放并上传
aa654403231的专栏
11-29 5049
1.界面布局，以及相关功能 点击中间开始录音，点击左上角播放或暂停播放，点击右上角移除文件 2.定义相关属性 #import "SendVoiceController.h" #import#import "RecordVoiceView.h" #import "lame.h" #import "PlayVoiceView.h" #define cafFil
iOS音频外部采集与渲染(音视频SDK高级功能八)
zego实时音视频
11-18 981
本篇介绍即构科技音视频SDK高级功能系列第八篇——音频外部采集与渲染。 1、使用场景 1.1 外部采集 以下情况时，建议使用音频外部采集功能： 客户需要从现有音频流、音频文件、或者定制的采集系统中获得采集后输入，交给 SDK 传输。 客户有自己对 PCM 输入源做特殊的音效处理的需求，在音效处理后输入，交给 SDK 传输。 1.2 外部渲染 当客户有自己渲染的需求，例如对拉取到的原始 ...
获取音视频文件AVMetadata数据
weixin_34014277的博客
04-23 383
获取音视频文件AVMetadata数据 问题来源: http://stackoverflow.com/questions/16318821/extracting-mp3-album-artwork-in-ios http://stackoverflow.com/questions/14030746/ios-avfoundation-how-do-i-fetch-artwork-from-...
从开发小白到音视频专家
weixin_34390996的博客
12-03 6023
这是由一篇我的演讲稿整理出来的文章，目标读者是对音视频开发感兴趣但是又不知道如何下手的初学者们，希望把我的经验分享出来，对大家有所帮助。 1. 成长的烦恼 经常收到一些网友的来信或者留言，反馈如下这样的困惑： “我是一名应届毕业生，该如何快速地成长起来”“我只懂 C/C++，是学 Android 开发有前途，还是 iOS 开发有前途？”“我是一名 Android/iOS 开发，已经可以独立完成一...
Android获取音视频原始流数据方法详解
热门推荐
Mr.小艾
09-12 1万+
视频数据流的获取Android设备视频数据的获取，是调用Camera,所以需要在AndroidManifest中添加以下的权限：<uses-permission android:name="android.permission.CAMERA" /> <uses-feature android:name="android.hardware.camera" /> <uses-feature androi
iOS平台H264+PCM音视频实时传输无第三方库实现
1. **音视频捕获：** 使用iOS设备上的麦克风和摄像头捕获原始音频和视频数据。 2. **音视频数据处理：** 对捕获的原始音视频数据进行必要的预处理，如音频的采样率转换、视频的帧率调整等。 3. **编码：** 利用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值