记一次媒体流文件处理

blob语音流 前端播放 目录首先要熟悉的几个对象html部分JS部分DataView 首先要熟悉的几个对象 FileReader ArrayBuffer DataView Int32Array Int16Array Int8Array 以上几个对象,对于前端来说比较陌生 遥远,三言俩语说不清,具体详细的建议大家查看官方文档。以下内容中 只会提及使用到的部分。 html部分 对于后端返回的 blob格式的语音流,前端如何转... 阅读详情

此次案例的背景是一个通话录音播放下载,大概的流程是向后端请求一个接口,后端返回一个wav格式的文件流,然后使用audio播放/下载录音文件,其实大概一年前做过类似的需求,不过方式是拼接地址直接使用录音的url播放,因为是头一次处理流文件,所以走了很多冤枉路,最后处理的方式其实非常简单,但是因为最初的方向偏了,也是嘎嘎懊悔,南辕北辙啊!下面听我细细道来

请求配置

因为audio是没法直接播放wav的,所以需要处理文件流,前端常用的网络请求库有axios、fetch等,最开始我查到的解决方案是fetch的,fetch(url).then(res => res.blob()).then(blob => xx),将返回对象解析为blob格式的promise对象,如果是在axios中,则将responseType(将要响应的数据类型,默认为json)设置为blob即可axios(url, responseType: 'blob'),然后就是我踩的第一个坑了,正确的做法其实是将blob转换为audio能播放的url,即URL.createObjectURL(blob),但是我走了非常愚蠢的一步,我将blob转为了arrayBuffer(这里可以直接请求arrayBuffer),然后使用AudioContext来播放,也不能说这样做是完全错的吧,但是把简单的事情复杂化了,因为使用audioContext想要方便操作的话需要将连接、播放、暂停全部封装方法暴露出去,毕竟blob只需要转换成url,其他全部交给audio即可,以下是我的失智操作

const result = await axios(url, responseType: 'arrayBufer')
const audioCtx = new AudioContext()
const source = audioCtx.createBufferSource()
source.buffer = result
source.connect(audioCtx.destination)

这段代码中的source.buffer是播放的音频,destination属性是音频最终的目标节点,播放使用source.start(),暂停使用audioCtx.suspend(),恢复播放使用audioCtx.resume(),虽然也能达到目的,但是显而易见的要多做很多事

下载资源

播放音频解决后,就是下载音频了,第一种audio播放器上可以直接下载,这种我们不需要太操心,第二种就是用户直接在表格中通过按钮下载音频,需要考虑到播放前后下载,如果是播放前那么直接正常请求即可,如果是播放后,直接从audio的DOM上获取src,就可以少一次网络请求,我是通过设置一个标志来实现的

let mark = null
// 请求时会传入一个id
mark = id
// 下载时判断,也会传入一个id
if (!mark || mark !== id) {
    // 没有,直接走请求
    // 有标志,但与id不同,意为audio的src是上一个音频的,所以同样走请求
} else {
    // 有标志且与id相同,获取audioDOM的src
}

示例demo

const result = await axios(url, responseType: 'blob')
const url = URL.createObjectURL(result)
audio.src = url

播放audio.play(),暂停audio.pause(),如此对比,是不是少了很多代码,害,失了智的一次经历

vue中浏览器录音,通过audio播放,blob音频流转换。 对于后端返回的 blob格式的语音流,前端如何转化成 src路径,使用audio标签进行播放。HTML代码部分很简单,就是audio标签即可(我这里是基于vue)所以就是要解决 srcUrl即可,即把Blob语音流转化。首先来认识一个类 —FileReader 。 FileReader对象允许Web应用程序异步读取存储在用户计算机上的文件(或原始数据缓冲区)的内容,使用 File 或 Blob 对象指定要读取的文件或数据。其中一个方法readAsArrayBuffer(): FileReader.readA 阅读详情

相关推荐

关于springboot传blob数据到前端并包装资源到audio实现播放

1号代码的意思是 设置响应数据的格式,因为我们的文件类型有很多种,()这里我们以音频数据为例,音频数据有熟知的mp3、flac、wav等类型)同时也要设置编码格式,将它塞入响应头中。const blob = new Blob( [ 要转换的数据] , { type:'参数类型(如audio/flac)' })由于咱们的音频数据是以blob类型存储的mysql数据库中的,当我们将它提取到java中的时候需要用byte[]来接收,1.将byte[] 数据转换为blob对象类型。

weixin_54203047的博客 1647

audio标签使用blob类型播放

文件使用blob播放 需求背景: 在后台返回的二进制数据类型中我们会发现缺少数据类型,再我们不知道数据类型的情况下,这个时候就会使用到blob 什么是blob 参考 https://juejin.cn/post/6844903880774385671 音频播放转换 /** * desc: base64对象转blob文件对象 * @param base64 :数据的base64对象 * @param fileType :文件类型 mp3等; * @re

qq_42536422的博客 6010

14、Windows Home Server共享文件夹与媒体流使用指南

本文详细介绍了Windows Home Server中共享文件夹的管理与媒体流功能的使用方法。涵盖了存储平衡机制、共享文件夹历史查看、访问方式、从以前版本恢复文件、媒体库共享设置、受版权保护媒体的处理、Xbox 360流式传输等内容,并提供了操作流程、常见问题解答和高级应用建议,帮助用户全面掌握Windows Home Server的数据与媒体管理功能。

2y3u4i5o6p的博客 69

audio播放buffer对象资源

使用百度语音合成,返回的结果是buffer对象。使用audio标签播放时,需要将其转成url形式 var blob = new Blob([result.data],{type:'autio/wave'}); var src = URL.createObjectURL(blob); _this.audioVoice = src; ...

令瑞斌 3407

使用SIPP发起媒体流性能测试详解

SIPP(SIP Performance Protocol)是一个开源工具,专门用于SIP(Session Initiation Protocol)协议的性能测试和基准测试。SIP是一种用于控制多媒体通信会话(如语音和视频通话)的应用层协议,广泛应用于VoIP(Voice over IP)系统。本文将详细介绍如何使用SIPP发起媒体流性能测试。

笔者从事电信媒体开发多年,愿意将多年的开发经验分享给同行 1143

14、Windows Home Server 共享文件夹与媒体流使用指南

本博客详细介绍了如何在 Windows Home Server 中管理共享文件夹和实现媒体流功能。内容涵盖存储平衡机制、共享文件夹历史记录查看、共享文件夹的多种访问方式、通过以前版本恢复误删文件的方法,以及如何启用和禁用媒体库共享,支持在 Xbox 360 等设备上播放音乐和视频。适合使用 Windows Home Server 进行家庭数字媒体管理的用户参考。

xxx12的博客 95

Windows应用之——媒体流

Windows提供了媒体流功能,启用后,网络位置显示一个类似于NAS的媒体流网盘在局域网内部,通过手机可以访问此媒体流网盘的内容more。

我的博客 3840

WebRTC媒体流录制:实现音视频的录制与处理

你可以将以上代码复制到一个HTML文件中,并在浏览器中打开该文件,即可看到录制按钮和预览视频的界面。点击开始按钮后,浏览器会开始录制音视频流,并在控制台输出录制的音视频URL。点击停止按钮后,浏览器会停止录制,并在页面上显示一个下载链接,你可以点击该链接来下载录制的音视频文件。在本文中,我们将探讨如何使用WebRTC来录制音视频流,并进行相应的处理。方法停止录制,并在回调函数中处理录制的音视频URL,并创建一个下载链接供用户下载录制的音视频。在上述代码中,我们首先获取了开始和停止按钮的元素,并定义了一个。

EtwCpp的博客 379

JavaScript媒体流处理库常见问题解决方案

JavaScript媒体流处理库常见问题解决方案 1. 项目基础介绍和主要编程语言 该项目是一个名为media-stream-library-js的开源项目,由Axis Communications团队维护。它是一个JavaScript库,旨在帮助开发者在命令行(Node.js)和浏览器中处理媒体流。该项目适用于处理H264、RTSP、MP4、JPEG等格式的视频流,并支持AAC音频流。主要编程语...

gitblog_00817的博客 481

掌握DirectShowLib:多媒体流处理的实操指南

在多媒体技术飞速发展的今天,DirectShow作为微软提供的一个流媒体处理框架,为开发者提供了一个强大而灵活的平台,用于捕捉、编码、解码、混合和显示媒体内容。DirectShow通过抽象的图形结构,使得处理各种格式的媒体文件变得简单高效,它支持对音视频数据流进行实时处理,广泛应用于视频编辑软件、视频会议和流媒体播放器等领域。DirectShow框架的核心在于过滤图(filter graph)的设计理念。它通过一系列过滤器(filter)将媒体数据流串联起来。

weixin_29092787的博客 719

深入探索媒体流源数据:HxD 16进制编辑器实战

HxD是一款功能强大的十六进制编辑器,广泛应用于IT行业,从简单的文件查看到复杂的低级数据编辑。HxD的优势在于其直观的用户界面和丰富的功能,使得编辑二进制文件和进行数据恢复等任务变得简单高效。媒体流源数据是指在数字媒体领域中,用于表示音频、视频或其他多媒体内容的原始或处理后的数据流。这些数据流是连续传输或连续播放的,它们是构成多媒体文件、网络传输以及实时通信的基础。媒体流源数据可以被编码,也可以是原始的信号形式,如未经压缩的音频和视频数据。

weixin_42153793的博客 2406

FFMPEG API函数根据SDP文件接收RTP媒体流

ffmpeg 根据sdp文件接收rtp媒体流

u013220323的专栏 5985

WebRTC数据通道与媒体流的实践应用

本文介绍了如何使用WebRTC技术实现实时媒体流的传输。通过JavaScript函数接收数据块,并利用队列缓存控制数据流的速率。文中详细阐述了从建立直接连接、创建数据通道到媒体文件的读取、分块传输以及媒体播放的整个流程。还提到了在不同浏览器中实现该功能时可能遇到的兼容性问题以及解决方案。

weixin_31176789的博客 740

【FFmpeg】解封装 ③ ( 解封装代码实战 | 分析 avformat_find_stream_info 函数的作用 | 获取视频文件码率 | 分析媒体流数据 )

一、AVFormatContext 结构体的视频参数信息 1、回顾总结 2、AVFormatContext 的常用字段 3、对比 avformat_find_stream_info 函数的作用 ① 文件准备 ② MP4 格式 ③ FLV 格式 二、获取视频文件码率 1、媒体流的比特率 2、比特率 与 存储单位 的 换算基数 3、常见的音视频比特率 三、分析媒体流数据 1、媒体流遍历 2、AVStream 中的 codecpar 成员 3、AVCodecParameters 结构体 4、媒体流类型

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 6976

CTP开发实战:如何高效处理预埋单与委托单的完整流程(附代码示例)

本文深入探讨了CTP开发中预埋单与委托单的完整处理流程,从订单生命周期理解、核心代码实现到异步事件处理与系统健壮性构建。通过详细的代码示例和状态机分析,为开发者提供了构建高可靠订单处理系统的实战指南,重点解决了状态同步、异常恢复等关键工程挑战。

weixin_29234239的博客 118

【Blockly开发教程】01 初识Blockly

Blockly 是由 Google 开发的开源代码库,它可以为网页程序和移动端应用程序添加可视化代码编辑器。

Bright的博客 4513

Jitsi Meet架构解析:SFU模型与媒体流处理原理

Jitsi Meet是一款基于WebRTC技术的开源视频会议解决方案,采用SFU(Selective Forwarding Unit)架构实现高效的媒体流传输。本文将深入解析Jitsi Meet的核心架构设计、SFU模型工作原理以及媒体流处理机制,帮助开发者和技术爱好者理解其背后的技术奥秘。 ## 一、Jitsi Meet整体架构概览 Jitsi Meet的架构设计围绕实时音视频通信需求展开,

gitblog_00468的博客 462

2023年LitCTF web组wp

1、导弹迷踪2、1zjs3、php是世界上最好的语言!!4、Ping5、我Flag呢?7、作业管理系统8、Vim yyds10、这是什么?SQL!注一下!11、Flag点击就送!12、就当无事发生13、彩蛋。

m0_74160536的博客 1592

Onvif对接Rtsp实时媒体流(基于live555)资源文件介绍:实现高效视频流对接

Onvif对接Rtsp实时媒体流(基于live555)资源文件介绍:实现高效视频流对接 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 Onvif对接Rtsp实时媒体流(基于live555)资源文件是一个旨在帮助开发者深入了解并实现Onvif协议与Rtsp实时媒体流对接的教程。通过该资源文件,开发者可以学习如何利用广泛应用的live555库,高效地完成媒体流数据的传输与...

gitblog_06759的博客 728

LaTeX伪代码字体大小调整全攻略:从algorithm到algorithm2e的实战技巧

本文详细介绍了在LaTeX中调整伪代码字体大小的全面技巧,涵盖algorithm、algorithmicx和algorithm2e等主流算法包的使用方法。从基础命令到高级配置,帮助用户解决学术论文和技术文档中的伪代码排版问题,提升算法展示的专业性和可读性。特别针对不同期刊格式要求,提供了实用的字体调整方案。

weixin_29297127的博客 437

EDA公司(一):Synopsys-- 主要 EDA 工具及其简介

Synopsys 是一家领先的电子设计自动化(EDA)软件公司,提供了一系列全面的产品和服务,旨在支持从概念设计到大规模生产的各个阶段。Synopsys 的 EDA 工具覆盖了芯片设计的各个方面,包括但不限于逻辑综合、静态时序分析、功能验证、物理实现、形式验证、测试插入、电源分析、信号完整性分析等。

MHD0815的博客 3313

探索下一代媒体流应用:MERN Mediastream 2.0

探索下一代媒体流应用:MERN Mediastream 2.0 在当今这个数字时代,流畅的媒体流体验成为了应用开发不可或缺的一部分。如果你正在寻找一个将先进技术与直观设计完美融合的解决方案,那么【MERN Mediastream 2.0】绝对值得你的关注。这是一款基于React、Node.js、Express和MongoDB构建的媒体流应用,它不仅支持媒体上传,还实现了媒体实时播放功能。 项目核...

gitblog_00705的博客 1060

解决TextMeshPro在AB打包中的字体冗余问题:源码修改全记录

本文详细介绍了如何解决TextMeshPro在AB打包中的字体冗余问题,通过源码改造和工程实践优化Unity项目的性能。内容包括资源加载路径重构、AB打包策略优化及运行时加载方案,有效减少包体体积和构建时间,提升内存效率。

weixin_42558257的博客 185

基于JMF RTP的网络传输媒体流

JMF中可以实现RTP媒体流的回放(playback)和传输(transmission),主要由javax.media.rtp, javax.media.rtp.event,和javax.media.rtp.rtcp包中定义的API完成。JMF可以通过标准的JMF plug-in机制来实现支持特定的RTP格式和动态负载。 你可以在本地播放RTP数据流,或将其存储到本地文件。

清水雨潭 1498

osgearth添加经纬度网格,并显示鼠标所指经纬高度信息

一、代码 osgearth官方例子 #include <osg/Notify> #include <osgGA/StateSetManipulator> #include <osgViewer/Viewer> #include <osgViewer/ViewerEventHandlers> #include <osgEarth/MapNode> #include <osgEarthUtil/EarthManipulator> #

ljjjjjjjjjjj的博客 3564

Python 爬虫实战:抓取应届生求职网校招岗位信息,助力学子就业

应届生求职网作为国内知名的招聘平台,汇聚了大量企业的校招岗位信息。了解这些岗位信息,对于应届毕业生制定求职策略、企业制定招聘计划以及相关就业市场分析等都具有重要意义。因此,本文将深入探讨如何运用 Python 爬虫技术从应届生求职网平台抓取校招岗位信息,为应届毕业生提供有益的就业信息支持。本文深入探究了利用 Python 爬虫技术从应届生求职网平台抓取校招岗位信息的全流程。从前期的环境搭建、模拟登录,到核心的数据抓取、存储,再到后续的数据分析与可视化,都详细展开讲解并提供代码支持。

u014481728的博客 1302
上一篇: vitest 单元测试配合@vue/test-utils 之 axios 篇
下一篇: 【antdv4.0FormItem更新tooltip属性引发的思考】
Selicens
博客等级 码龄7年 33粉丝 33原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值