记一次媒体流文件处理

blob语音流 前端播放 目录首先要熟悉的几个对象html部分JS部分DataView 首先要熟悉的几个对象 FileReader ArrayBuffer DataView Int32Array Int16Array Int8Array 以上几个对象,对于前端来说比较陌生 遥远,三言俩语说不清,具体详细的建议大家查看官方文档。以下内容中 只会提及使用到的部分。 html部分 对于后端返回的 blob格式的语音流,前端如何转... 阅读详情

此次案例的背景是一个通话录音播放下载,大概的流程是向后端请求一个接口,后端返回一个wav格式的文件流,然后使用audio播放/下载录音文件,其实大概一年前做过类似的需求,不过方式是拼接地址直接使用录音的url播放,因为是头一次处理流文件,所以走了很多冤枉路,最后处理的方式其实非常简单,但是因为最初的方向偏了,也是嘎嘎懊悔,南辕北辙啊!下面听我细细道来

请求配置

因为audio是没法直接播放wav的,所以需要处理文件流,前端常用的网络请求库有axios、fetch等,最开始我查到的解决方案是fetch的,fetch(url).then(res => res.blob()).then(blob => xx),将返回对象解析为blob格式的promise对象,如果是在axios中,则将responseType(将要响应的数据类型,默认为json)设置为blob即可axios(url, responseType: 'blob'),然后就是我踩的第一个坑了,正确的做法其实是将blob转换为audio能播放的url,即URL.createObjectURL(blob),但是我走了非常愚蠢的一步,我将blob转为了arrayBuffer(这里可以直接请求arrayBuffer),然后使用AudioContext来播放,也不能说这样做是完全错的吧,但是把简单的事情复杂化了,因为使用audioContext想要方便操作的话需要将连接、播放、暂停全部封装方法暴露出去,毕竟blob只需要转换成url,其他全部交给audio即可,以下是我的失智操作

const result = await axios(url, responseType: 'arrayBufer')
const audioCtx = new AudioContext()
const source = audioCtx.createBufferSource()
source.buffer = result
source.connect(audioCtx.destination)

这段代码中的source.buffer是播放的音频,destination属性是音频最终的目标节点,播放使用source.start(),暂停使用audioCtx.suspend(),恢复播放使用audioCtx.resume(),虽然也能达到目的,但是显而易见的要多做很多事

下载资源

播放音频解决后,就是下载音频了,第一种audio播放器上可以直接下载,这种我们不需要太操心,第二种就是用户直接在表格中通过按钮下载音频,需要考虑到播放前后下载,如果是播放前那么直接正常请求即可,如果是播放后,直接从audio的DOM上获取src,就可以少一次网络请求,我是通过设置一个标志来实现的

let mark = null
// 请求时会传入一个id
mark = id
// 下载时判断,也会传入一个id
if (!mark || mark !== id) {
    // 没有,直接走请求
    // 有标志,但与id不同,意为audio的src是上一个音频的,所以同样走请求
} else {
    // 有标志且与id相同,获取audioDOM的src
}

示例demo

const result = await axios(url, responseType: 'blob')
const url = URL.createObjectURL(result)
audio.src = url

播放audio.play(),暂停audio.pause(),如此对比,是不是少了很多代码,害,失了智的一次经历

vue中浏览器录音,通过audio播放,blob音频流转换。 对于后端返回的 blob格式的语音流,前端如何转化成 src路径,使用audio标签进行播放。HTML代码部分很简单,就是audio标签即可(我这里是基于vue)所以就是要解决 srcUrl即可,即把Blob语音流转化。首先来认识一个类 —FileReader 。 FileReader对象允许Web应用程序异步读取存储在用户计算机上的文件(或原始数据缓冲区)的内容,使用 File 或 Blob 对象指定要读取的文件或数据。其中一个方法readAsArrayBuffer(): FileReader.readA 阅读详情

相关推荐

关于springboot传blob数据到前端并包装资源到audio实现播放

1号代码的意思是 设置响应数据的格式,因为我们的文件类型有很多种,()这里我们以音频数据为例,音频数据有熟知的mp3、flac、wav等类型)同时也要设置编码格式,将它塞入响应头中。const blob = new Blob( [ 要转换的数据] , { type:'参数类型(如audio/flac)' })由于咱们的音频数据是以blob类型存储的mysql数据库中的,当我们将它提取到java中的时候需要用byte[]来接收,1.将byte[] 数据转换为blob对象类型。

weixin_54203047的博客 1647

audio标签使用blob类型播放

文件使用blob播放 需求背景: 在后台返回的二进制数据类型中我们会发现缺少数据类型,再我们不知道数据类型的情况下,这个时候就会使用到blob 什么是blob 参考 https://juejin.cn/post/6844903880774385671 音频播放转换 /** * desc: base64对象转blob文件对象 * @param base64 :数据的base64对象 * @param fileType :文件类型 mp3等; * @re

qq_42536422的博客 6010

14、Windows Home Server共享文件夹与媒体流使用指南

本文详细介绍了Windows Home Server中共享文件夹的管理与媒体流功能的使用方法。涵盖了存储平衡机制、共享文件夹历史查看、访问方式、从以前版本恢复文件、媒体库共享设置、受版权保护媒体的处理、Xbox 360流式传输等内容,并提供了操作流程、常见问题解答和高级应用建议,帮助用户全面掌握Windows Home Server的数据与媒体管理功能。

2y3u4i5o6p的博客 69

audio播放buffer对象资源

使用百度语音合成,返回的结果是buffer对象。使用audio标签播放时,需要将其转成url形式 var blob = new Blob([result.data],{type:'autio/wave'}); var src = URL.createObjectURL(blob); _this.audioVoice = src; ...

令瑞斌 3407

使用SIPP发起媒体流性能测试详解

SIPP(SIP Performance Protocol)是一个开源工具,专门用于SIP(Session Initiation Protocol)协议的性能测试和基准测试。SIP是一种用于控制多媒体通信会话(如语音和视频通话)的应用层协议,广泛应用于VoIP(Voice over IP)系统。本文将详细介绍如何使用SIPP发起媒体流性能测试。

笔者从事电信媒体开发多年,愿意将多年的开发经验分享给同行 1143

14、Windows Home Server 共享文件夹与媒体流使用指南

本博客详细介绍了如何在 Windows Home Server 中管理共享文件夹和实现媒体流功能。内容涵盖存储平衡机制、共享文件夹历史记录查看、共享文件夹的多种访问方式、通过以前版本恢复误删文件的方法,以及如何启用和禁用媒体库共享,支持在 Xbox 360 等设备上播放音乐和视频。适合使用 Windows Home Server 进行家庭数字媒体管理的用户参考。

xxx12的博客 95

Windows应用之——媒体流

Windows提供了媒体流功能,启用后,网络位置显示一个类似于NAS的媒体流网盘在局域网内部,通过手机可以访问此媒体流网盘的内容more。

我的博客 3840

WebRTC媒体流录制:实现音视频的录制与处理

你可以将以上代码复制到一个HTML文件中,并在浏览器中打开该文件,即可看到录制按钮和预览视频的界面。点击开始按钮后,浏览器会开始录制音视频流,并在控制台输出录制的音视频URL。点击停止按钮后,浏览器会停止录制,并在页面上显示一个下载链接,你可以点击该链接来下载录制的音视频文件。在本文中,我们将探讨如何使用WebRTC来录制音视频流,并进行相应的处理。方法停止录制,并在回调函数中处理录制的音视频URL,并创建一个下载链接供用户下载录制的音视频。在上述代码中,我们首先获取了开始和停止按钮的元素,并定义了一个。

EtwCpp的博客 379

JavaScript媒体流处理库常见问题解决方案

JavaScript媒体流处理库常见问题解决方案 1. 项目基础介绍和主要编程语言 该项目是一个名为media-stream-library-js的开源项目,由Axis Communications团队维护。它是一个JavaScript库,旨在帮助开发者在命令行(Node.js)和浏览器中处理媒体流。该项目适用于处理H264、RTSP、MP4、JPEG等格式的视频流,并支持AAC音频流。主要编程语...

gitblog_00817的博客 481

掌握DirectShowLib:多媒体流处理的实操指南

在多媒体技术飞速发展的今天,DirectShow作为微软提供的一个流媒体处理框架,为开发者提供了一个强大而灵活的平台,用于捕捉、编码、解码、混合和显示媒体内容。DirectShow通过抽象的图形结构,使得处理各种格式的媒体文件变得简单高效,它支持对音视频数据流进行实时处理,广泛应用于视频编辑软件、视频会议和流媒体播放器等领域。DirectShow框架的核心在于过滤图(filter graph)的设计理念。它通过一系列过滤器(filter)将媒体数据流串联起来。

weixin_29092787的博客 719

深入探索媒体流源数据:HxD 16进制编辑器实战

HxD是一款功能强大的十六进制编辑器,广泛应用于IT行业,从简单的文件查看到复杂的低级数据编辑。HxD的优势在于其直观的用户界面和丰富的功能,使得编辑二进制文件和进行数据恢复等任务变得简单高效。媒体流源数据是指在数字媒体领域中,用于表示音频、视频或其他多媒体内容的原始或处理后的数据流。这些数据流是连续传输或连续播放的,它们是构成多媒体文件、网络传输以及实时通信的基础。媒体流源数据可以被编码,也可以是原始的信号形式,如未经压缩的音频和视频数据。

weixin_42153793的博客 2406

FFMPEG API函数根据SDP文件接收RTP媒体流

ffmpeg 根据sdp文件接收rtp媒体流

u013220323的专栏 5985

WebRTC数据通道与媒体流的实践应用

本文介绍了如何使用WebRTC技术实现实时媒体流的传输。通过JavaScript函数接收数据块,并利用队列缓存控制数据流的速率。文中详细阐述了从建立直接连接、创建数据通道到媒体文件的读取、分块传输以及媒体播放的整个流程。还提到了在不同浏览器中实现该功能时可能遇到的兼容性问题以及解决方案。

weixin_31176789的博客 740

【FFmpeg】解封装 ③ ( 解封装代码实战 | 分析 avformat_find_stream_info 函数的作用 | 获取视频文件码率 | 分析媒体流数据 )

一、AVFormatContext 结构体的视频参数信息 1、回顾总结 2、AVFormatContext 的常用字段 3、对比 avformat_find_stream_info 函数的作用 ① 文件准备 ② MP4 格式 ③ FLV 格式 二、获取视频文件码率 1、媒体流的比特率 2、比特率 与 存储单位 的 换算基数 3、常见的音视频比特率 三、分析媒体流数据 1、媒体流遍历 2、AVStream 中的 codecpar 成员 3、AVCodecParameters 结构体 4、媒体流类型

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 6976

饥荒联机版Mod开发——modmain环境与API深度解析

本文深入解析饥荒联机版Mod开发中的modmain.lua环境与核心API,详细讲解环境表构建原理、API注册与调用时机,并提供高级开发技巧与最佳实践。通过源码分析和实际案例,帮助开发者掌握Mod开发核心技术,解决常见问题,提升开发效率与代码质量。

weixin_30312563的博客 437

ThinkPHP 8.1 + think-swoole 4.1 实战:5分钟搞定WebSocket聊天室(附完整代码)

本文详细介绍了如何使用ThinkPHP 8.1和think-swoole 4.1快速构建高并发WebSocket聊天室。通过5分钟实战教程,开发者可以轻松实现用户列表、消息广播等核心功能,支持2000+并发连接,适用于客服系统、在线协作等实时通信场景。

ol789012345的博客 127

Jitsi Meet架构解析:SFU模型与媒体流处理原理

Jitsi Meet是一款基于WebRTC技术的开源视频会议解决方案,采用SFU(Selective Forwarding Unit)架构实现高效的媒体流传输。本文将深入解析Jitsi Meet的核心架构设计、SFU模型工作原理以及媒体流处理机制,帮助开发者和技术爱好者理解其背后的技术奥秘。 ## 一、Jitsi Meet整体架构概览 Jitsi Meet的架构设计围绕实时音视频通信需求展开,

gitblog_00468的博客 462

SAP采购信息记录批量维护实战:用BAPI ME_INFORECORD_MAINTAIN搞定价格等级和条件记录

本文深入解析SAP标准BAPI ME_INFORECORD_MAINTAIN在采购信息记录批量维护中的应用,特别聚焦价格等级和条件记录的技术难点。通过实战案例和代码示例,帮助用户高效处理供应商-物料价格数据,提升供应链管理效率。

weixin_42522320的博客 413

Onvif对接Rtsp实时媒体流(基于live555)资源文件介绍:实现高效视频流对接

Onvif对接Rtsp实时媒体流(基于live555)资源文件介绍:实现高效视频流对接 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 Onvif对接Rtsp实时媒体流(基于live555)资源文件是一个旨在帮助开发者深入了解并实现Onvif协议与Rtsp实时媒体流对接的教程。通过该资源文件,开发者可以学习如何利用广泛应用的live555库,高效地完成媒体流数据的传输与...

gitblog_06759的博客 728

国内合规开通ChatGPT Plus实操指南:银行卡绑卡与支付全解析

ChatGPT Plus 是 OpenAI 官方推出的高级订阅服务,基于 GPT-4o 多模态大模型提供语音交互、图像理解与长上下文处理能力。其核心使用前提在于完成合规的国际支付绑定,而非网络接入方式。技术原理上,OpenAI 采用 Stripe 支付网关进行风控校验,重点匹配银行跨境权限、卡片类型(仅支持 Visa/Mastercard/Amex 信用卡)、BIN 号段及地理位置一致性。该机制决定了95%的绑卡失败源于银行端配置缺失或卡片不兼容,而非网络问题。实际应用中,PayPal 作为中间支付层可显著

chuannaoxuan4674的博客 2039

微信小游戏审核避坑指南:如何一次性通过微信审核(附最新审核要求)

本文详细解析微信小游戏审核全流程,提供从开发到上线的关键策略,帮助开发者一次性通过审核。涵盖合规性自查、材料优化、开发环境配置、版本管理、审核材料填写技巧等核心内容,并附最新审核要求和常见驳回问题解决方案,显著提升审核通过率。

weixin_28454475的博客 1413

探索下一代媒体流应用:MERN Mediastream 2.0

探索下一代媒体流应用:MERN Mediastream 2.0 在当今这个数字时代,流畅的媒体流体验成为了应用开发不可或缺的一部分。如果你正在寻找一个将先进技术与直观设计完美融合的解决方案,那么【MERN Mediastream 2.0】绝对值得你的关注。这是一款基于React、Node.js、Express和MongoDB构建的媒体流应用,它不仅支持媒体上传,还实现了媒体实时播放功能。 项目核...

gitblog_00705的博客 1060

数字孪生实战:如何用Blender+Unity快速搭建未来工厂3D模型(附资源包)

本文提供了一套利用Blender进行三维建模,再结合Unity构建虚拟仿真环境的实用方案,旨在帮助中小型制造企业低成本、高效率地搭建未来工厂数字孪生原型系统。文章详细介绍了从数据规划、模型优化到场景构建、逻辑仿真与数据对接的全流程,并附有资源包,助力技术团队快速实现从静态展示到动态交互的数字孪生应用。

weixin_29191669的博客 341

基于JMF RTP的网络传输媒体流

JMF中可以实现RTP媒体流的回放(playback)和传输(transmission),主要由javax.media.rtp, javax.media.rtp.event,和javax.media.rtp.rtcp包中定义的API完成。JMF可以通过标准的JMF plug-in机制来实现支持特定的RTP格式和动态负载。 你可以在本地播放RTP数据流,或将其存储到本地文件。

清水雨潭 1498

国产AI芯片实战:用寒武纪MLU370低成本部署DeepSeek-R1,实测推理效果与成本分析

本文详细介绍了寒武纪MLU370芯片在部署DeepSeek-R1大模型时的实战效果与成本优势。通过实测数据对比,MLU370在推理速度、能效比和本地化服务方面表现突出,尤其适合智能客服、内容生成等场景,可显著降低硬件投入和运维成本。

weixin_30613727的博客 458

Spark Sql 连接mysql

转载请务必注明原创地址为:http://dongkelun.com/2018/03/21/sparkMysql/ 1、基本概念和用法(摘自spark官方文档中文版) Spark SQL 还有一个能够使用 JDBC 从其他数据库读取数据的数据源。当使用 JDBC 访问其它数据库时,应该首选 JdbcRDD。这是因为结果是以数据框(DataFrame)返回的,且这样 Spark SQL操作轻松或便......

主要分享大数据相关的知识,如Spark、Hudi 1万+
上一篇: vitest 单元测试配合@vue/test-utils 之 axios 篇
下一篇: 【antdv4.0FormItem更新tooltip属性引发的思考】
Selicens
博客等级 码龄7年 33粉丝 33原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值