音视频方案
关注
分享
扫一扫
文章平均质量分 80
desaco
技术，产品，运营。安卓应用研发10年＋。服务过多家上市公司。
展开
-
短视频行业（内容创业）
2016年被称为直播元年，2017年可以说是来到了短视频创作的时代。内容创业如今市场越来越大，不管是各大自媒体平台还是短视频APP等。 从2005年Youtube创办之初号召用户们“Broadcast yourself”，到国内UGC长视频社区兴起，再到互联网影视版权大战、2012年优酷土豆宣布合并，宣告PC端UGC社区的结束，移动短视频时代兴起。 抖音，作为今日头条战略级产品。音乐短...转载 2018-03-09 12:42:25 · 2416 阅读 · 0 评论 -
音视频方案，音视频扩展内容- 音视频数据解析,码流分析及质量评价（笔记）3
-- 音视频编解码流程如下图：-- 关于音频各种参数：freq：音频数据的采样率。常用的有48000,44100等。format：音频数据的格式。举例几种格式：AUDIO_U16SYS：Unsigned 16-bit samplesAUDIO_S16SYS：Signed 16-bit samplesAUDIO_S32SYS：32-bit integer samplesAUDIO...转载 2018-06-20 18:49:00 · 2304 阅读 · 0 评论 -
纹理(Texture)与渲染(Render)
视频OpenGL渲染与SDL渲染；不同视频的编码与解码。OpenGL更好的显示视频的方式也是通过纹理（Texture）。> 纹理（Texture）和表面（Surface）的区别与联系： 1.Surfaces是一个存储2D图像的内存。 2.Textures是一张贴图。Texture的图像数据存储于它的Surface中。一个Texture可以包含多个Surface。> 纹理，渲...转载 2018-06-21 10:39:36 · 5779 阅读 · 0 评论 -
音视频方案，音视频扩展内容(GDI，Direct3D和OpenGL等) （笔记）4
在Windows平台下的视频播放技术主要有以下三种：GDI，Direct3D和OpenGL；音频播放技术主要是DirectSound。在Windows平台下视频的播放显示主要可以使用以下两种技术：Direct3D和OpenGL。以上两种显示技术是最好的。除了以上两种之外，还有其他的选择。比如说DirectDraw或者GDI。但是微软已经停止了对DirectDraw的支持。而GDI也并不是主要用...转载 2018-06-21 11:29:39 · 957 阅读 · 0 评论 -
视频【解码】原理（播放器原理），音视频同步等
1.视频编码格式：H264, VC-1, MPEG-2, MPEG4-ASP (Divx/Xvid), VP8, MJPEG 等。2.音频编码格式：AAC, AC3, DTS(-HD), TrueHD, MP3/MP2, Vorbis, LPCM 等。3.字幕编码格式：VOB, DVB Subs, PGS, SRT, SSA/ASS, Text。视频 = 图片、图像(摄像头) + 声...转载 2018-05-30 22:30:57 · 6988 阅读 · 1 评论 -
基于FFmpeg的WP/iOS移动端 demo
> 基于FFmpeg的WP移动端 Windows 10在视音频处理方面已经加入了对FFmpeg的原生支持。同时微软还公布了一个开源项目FFmpegInterop，专门用于给Windows 8.1/10 App编译包含FFmpeg功能的类库。最简单的基于FFmpeg的移动端例子：Windows Phone HelloWorld- https://blog.youkuaiyun.com/leixiaoh...转载 2018-06-21 21:50:25 · 523 阅读 · 0 评论 -
音视频方案，音视频扩展内容(RTMP，FFMpeg/H.26*/mpeg*/AVC等标准与协议)（笔记）1，视频格式
视频方案，雷霄骅的专栏- http://blog.youkuaiyun.com/leixiaohua1020> SI, TI ITU-R BT.1788建议使用时间信息（TI，Temporal perceptual Information，也可以称时间复杂度）和空间信息（SI，Spatial perceptual Information，也可以称空间复杂度）来衡量视频的特性。SI表征一帧图...转载 2018-06-17 23:12:06 · 2306 阅读 · 0 评论 -
音视频方案，音视频扩展内容(编码解码器) （笔记）2
视频方案，雷霄骅的专栏- http://blog.youkuaiyun.com/leixiaohua1020> LAV Filter LAV Filter 是一款开源的DirectShow视频分离和解码软件，他的分离器LAVSplitter封装了FFMPEG中的libavformat，解码器LAVAudio和LAVVideo则封装了FFMPEG中的libavcodec。它支持十分广泛的视音频格式。...转载 2018-06-20 17:12:33 · 1614 阅读 · 0 评论 -
Android视频获取缓冲网速(kb/s)，手机实时网速
> 获取手机实时网速 Android> Android视频缓冲获取网速(kb/s)Android视频播放器缓冲时加载速度的显示- http://blog.sina.com.cn/s/blog_a25bbbb50101igic.htmlAndroid视频播放器缓冲时流量显示的实现方式- https://blog.youkuaiyun.com/puhaibo_skynet/article/detail...转载 2018-07-04 16:55:14 · 4073 阅读 · 1 评论 -
Android音视频API - MediaCodec/MediaMuxer/MediaStore/MediaController等
AudioTrack播放音频PCM。[Android] 混音器AudioMixer。MediaPlayer/MediaRecorder, AudioTrack/AudioRecorder, MediaCodec。-- 使用MediaCodec和MediaMuxer的过程中遇到的问题，总结下需要注意主要有以下几点：1.MediaCodec是Android4.1新增API，MediaMuxe...转载 2018-05-24 12:49:29 · 1985 阅读 · 1 评论 -
OpenGL实现物体动画和视频特效(视频水印、美白、滤镜等)
1.OpenGL实现视频的水印、滤镜？OpenGL实现视频的剪裁、旋转？2.2D/3D物体的 旋转,平移,缩放? OpenGL图片滤镜与视频滤镜？ 矩阵（Matrix）是一个按照长方阵列排列的复数或实数集合，最早来自于方程组的系数及常数所构成的方阵。在物理学中，矩阵于电路学、力学、光学和量子物理中都有应用；计算机科学中，三维动画制作也需要用到矩阵。 矩阵的运算是数值分析领域的重要问题。 ...转载 2018-04-24 23:13:18 · 9356 阅读 · 0 评论 -
视频直播推流技术（MediaCodec硬编码+libRTMP，编码器），Demo - Android
- aac audio_codec; h264,video_codec;25 framerate 25帧;- Camera-YUV帧序列-YUV帧预处理（镜像 缩放 旋转）-编码器-H264数据从摄像头输出的YUV帧经过预处理之后，送入编码器，获得编码好的h264视频流。>直播，编码器SDK1.直播 SDK 的开发，尤其是音视频录制、处理、编码、推流等核心功能的研发；...转载 2018-03-05 23:20:36 · 10646 阅读 · 1 评论 -
FFmpeg简述，源码分析，录制/压缩/水印/剪切/旋转/滤镜/美颜/上传视频等（CPU软编码和解码）
> ffmpeg源码分析ffmpeg源码简析（一）结构总览- https://blog.youkuaiyun.com/Louis_815/article/details/79621056FFmpeg的库函数源代码分析- https://blog.youkuaiyun.com/lipengshiwo/article/details/52982379 FFmpeg CPU软编码和解码 ；MediaCode...转载 2018-03-24 22:28:07 · 2010 阅读 · 0 评论 -
Android 音视频开发入门指南，进阶研究
在具体的业务领域，你可以慢慢沉淀下来，用自己的努力和时间换来对领域知识的深入理解和积累，逐渐从一个开发小白走向最懂这个行业的专家。 -- 无论什么平台，他们的学习曲线其实是类似的，都要经历差不多如下的环节： 1.学习对应平台的编程语言，如：C/C++，Java，Object C，Javascript 等 2.熟悉对应平台提供的 API，如：UI 库，网络，文件，数据库， 图片处理，多媒体处...转载 2018-04-16 10:46:39 · 3083 阅读 · 1 评论 -
Android音视频拍摄工具、剪辑工具、特效工具（编码器）
-- 录制视频通过Camera采集NV21数据编码为H.264视频文件并保存;通过Camera2采集YV12数据编码为H.264视频文件并保存;通过SurfaceView解码显示Camera编码保存的H.264视频文件;通过TextureView解码显示Camera编码保存的H.264视频文件;视频处理功能如美颜、视频水印、滤镜、连麦等。> Android拍摄工具AVS2高...转载 2018-05-07 22:49:33 · 1658 阅读 · 0 评论 -
EasyPusher推流，音视频编码器和解码器(EasyDarwin，EasyPlayer)-Android
> Darwin，EasyDarwin播放器 Darwin是由苹果电脑于2000年所释出的一个开放原始码操作系统。Darwin 是MacOSX 操作环境的操作系统成份。苹果电脑于2000年把Darwin 释出给开放原始码社群。 开源流媒体服务器项目：EasyDarwin，EasyDarwin是在Apple开源流媒体服务器Darwin Streaming Serverv6.0.3）基础...转载 2018-05-18 18:14:41 · 2855 阅读 · 0 评论 -
视频【编码】原理（H.264 librtmp推流），图像编码中sps ,pps ,nalu ,frame ,silce ect
视频编码格式：H264, VC-1, MPEG-2, MPEG4-ASP (Divx/Xvid), VP8, MJPEG 等。音频编码格式：AAC, AC3, DTS(-HD), TrueHD, MP3/MP2, Vorbis, LPCM 等。字幕编码格式：VOB, DVB Subs, PGS, SRT, SSA/ASS, Text 视频编码器工作流程，视频编码过程。mime：用...转载 2018-06-11 18:30:55 · 3327 阅读 · 0 评论 -
Android图片/视频/图像压缩算法，图像识别
图像与视频编码，压缩。 在数字电视的信源压缩编码中，由于要求的压缩率较高，普遍采用有损压缩的方法。图像压缩编码从本质上来说就是对要处理的图像数据按照一定的规则进行变换和组合，从而达到以尽可能少的数据来表示尽可能多的数据信息。 图像压缩编码是研究图像数据压缩的技术。视频信号的空间冗余度，时间冗余度，结构冗余，知识冗余度， 视觉冗余度。三种数据冗余：编码冗余、像素冗余、视觉心理冗余。-...转载 2017-04-15 21:51:05 · 4180 阅读 · 0 评论 -
OpenCV + AR播放器研究
AR游戏 百度DuMix AR Android SDK基础版开发者文档- https://cloud.baidu.com/doc/AR/DuMixAR-Android-SDK.html#.86.54.E0.92.4B.31.4E.1B.C6.0D.15.BE.58.8A.47.F8 AR红包Android端实现原理- https://www.jianshu.com/p/631a6e971f15 ...转载 2018-07-06 18:29:09 · 1328 阅读 · 0 评论 -
音频编解码(软/硬编码)，音频转码
> 音频编解码(软编码)FFMpeg视频软件编解码的。B站的ijkplayer等。 音频数据的编解码- http://blog.51cto.com/ticktick/17601911.Android AAC Encoder一款轻量级的 Android aac 编码库：https://github.com/timsu/android-aac-enc 2.opencore-amr-a...转载 2019-01-06 10:54:24 · 30257 阅读 · 4 评论 -
直播与CDN分发
CDN需要更多更强大的调度系统、数据监控系统、nginx、lvs等系统技术（我也就知道这些了）。高端的CDN厂商还有自建专线、自建IDC、甚至用到了ISP的骨干策略MPLS-TE。这些都是不可小觑的技术。 运营商主要劫持出省流量，对于“小”运营商来说他们有省内流量考核，跨省访问会增加成本输出，集团控制出省流量，所以劫持往往发生在省间传输上。其次所有运营商都可能会做劫持，目的是减少省骨干网络...转载 2019-02-19 17:48:05 · 3137 阅读 · 0 评论 -
音频：听声识曲，音乐均衡器与傅立叶变换算法，双音多频（DTMF）
音频PCM，音频采样率，音频的频率和功率；双音多频技术？音乐均衡器，频域的增益或衰减；频谱、频域与傅立叶变换算法；-- 听声识曲公司为何得到Apple的青睐- https://blog.youkuaiyun.com/dQCFKyQDXYm3F8rB0/article/details/87568925 音乐识别服务和技术,最早流行的 Gracenote、SoundHound、Track ID、T...转载 2019-02-21 11:35:43 · 2439 阅读 · 0 评论 -
Android5.0以上版本录屏实现，录屏与反控
-- Android5.0以上版本录屏实现，录屏与反控（反向控制） Android系统的版本是否大于5.0，并且动态申请一下权限（读写，录音，照相机），录屏的方式是分别录制音频和视频，最后合并成mp4格式。 MediaProjection和MediaProjectionManager。Android5.0以上版本录屏实现- https://www.cnblogs.com/liuwa/p/...转载 2019-03-22 11:08:52 · 2398 阅读 · 0 评论 -
YUV数据转化为纹理对象（YUV色彩模型，RGB模型）
YUV色彩模型来源于RGB模型（RGBA，A-alpha通道，一般不透明度参数）。YUV采样率4:4:4，4:2:2，4:2:0，4:1:1等。视频=图像、图片(摄像头)+声音(麦克风)。-- YUV数据转化为纹理对象 图像处理之基础---用Shader实现的YUV到RGB转换:使用3重纹理实现 . 在内存中，就必须要先对YUV的数据进行排序，然后才能当做RGB的数据格式传给纹...转载 2019-04-06 21:42:15 · 3421 阅读 · 2 评论 -
查看视频的IPB帧，IPB帧编码顺序，视频的第一帧图片
> 如何查看视频的IPB帧 Android， 如何获取视频的每一帧的信息视频 = 图片、图像(摄像头) + 声音(麦克风) ；谷歌官方给我们的提供的api接口类：MediaMetadataRetriever，这个类是提供给我们用来获取视频信息的基于ffmpeg实现的，同样的实验获取视频帧信息的速度在1秒左右- https://github.com/wseemann/FFmpegMed...转载 2019-04-11 17:16:49 · 3900 阅读 · 0 评论 -
面向CPU/GPU编程(如OpenGL)，硬编码和软编码
《The Cg tutorial》(C图形教程)- http://developer.download.nvidia.com/CgTutorial/cg_tutorial_chapter01.html开源的库实在完整，想做卷积运算有cudnn，想做卷积神经网络caffe、torch，想做rnn有mxnet、tensorflow等。 GPU代表的是图形处理单元，但是，这些小小芯片除了处理图形功...转载 2018-04-19 13:15:25 · 5534 阅读 · 0 评论 -
Android屏幕采集MediaProjection，双屏开发(Presentation副屏/客显)，Presentation投屏，智能硬件方向与Presentation
>Android屏幕采集MediaProjection和MediaProjectionManager ，Android5.0-- MediaProjectionManager，MediaProjection，VirtualDisplay录屏：Intent captureIntent = mMediaProjectionManager.createScreenCaptureIntent...转载 2019-01-29 19:49:52 · 5717 阅读 · 0 评论 -
android JetPlayer音乐播放器 (JET播放器和JET引擎)
> The Android platform includes a JET engine that lets you add interactive playback of JET audio content in your applications. You can create JET content for interactive playback using the JetCreat...转载 2015-12-02 12:52:18 · 1185 阅读 · 0 评论 -
G711(PCM/PCMA/PCMU),G721,G723,G729等 音频编解码
G711,G721,G723音频编解码，G729音频库，Android G711(PCMA/PCMU)、G726、PCM音频转码到AAC，ffmpeg接收g723音频流，Android G726语音编解码库+除燥音算法，g729音频编解码静态库，G723 G729 Gsm iLBC PCM audio，g723源码详细分析-17-舒适噪声解码，g729转换成mp3格式（音乐）等。 采用Easy...转载 2018-12-18 10:23:16 · 13834 阅读 · 0 评论 -
射手播放器SPlayer，编解码
-- 射手播放器SPlayer 及源码Official Repository of SPlayer- https://github.com/tomasen/splayer 射手播放器是由射手网创建与维护的开源播放器项目。内核基于MPC（感谢Gabest）、MPC-HC与ffmpeg。采用最新DirectX硬件加速技术，特有画面增益，清晰播放720p、1080p高清。是真正属于中文用户的开源播...转载 2018-12-21 18:45:23 · 7144 阅读 · 0 评论 -
动态壁纸，视频特效- Android
-- 动态壁纸Android中模仿探究抖音短视频的动态壁纸功能以及动态壁纸的拓展功能使用- https://blog.youkuaiyun.com/jiangwei0910410003/article/details/80461169DragVideo，一种在播放视频时，可以任意拖拽的方案- https://www.jianshu.com/p/20c270664dcd视频画中画效果，拖动进度条可以se...转载 2018-08-31 11:28:53 · 1270 阅读 · 0 评论 -
图像编码解码（I P B帧），数码相机成像原理
图像编码解码研究？图片的I、P、B帧？ 图片生成的原理？> 图片格式移动端图片_编码解码调研- https://blog.youkuaiyun.com/jiang314/article/details/51979747 常见的图片格式有bmp, jpg(jpeg), png, gif, webp等。创造其他更加优秀的图片格式，比如 JPEG 小组的 JPEG 2000、微软的 JPEG-XR、G...转载 2018-09-08 22:17:42 · 2595 阅读 · 1 评论 -
音视频编解码， IPB帧、GOP、 DTS 和PTS音视频同步，（编解码工作）
音视频编解码、计算机视觉、音视频传输和分发等，无线传输、IP核心网、互联网接入、音视频直播等领域等。音视频中的算法、编解码、数学基础。> 音视频中GOP、 PTS 和 DTS- https://blog.youkuaiyun.com/lipengshiwo/article/details/79160316-- I 帧、P 帧、B 帧的区别在于： I 帧（Intra coded frames）...转载 2018-09-10 11:12:14 · 3345 阅读 · 0 评论 -
计算机图形图像学，计算机视觉 (图形、图像和视频)
图像学，图形学；图像算法，图形算法？> 计算机图形学opengl ，directx 计算机图形学(Computer Graphics，简称CG)是一种使用数学算法将二维或三维图形转化为计算机显示器的栅格形式的科学。 简单地说，计算机图形学的主要研究内容就是研究如何在计算机中表示图形、以及利用计算机进行图形的计算、处理和显示的相关原理与算法。图形通常由点、线、面、体等几何...转载 2018-04-30 15:33:26 · 2938 阅读 · 0 评论 -
视频中NTSC/PAL制式
> 视频中的NTSC PAL制式中国电视业的标准（PAL）是：标清720×576、50I（即每秒25帧隔行）；高清1920×1080、50I。美国电视业的标准（NTSC）是：标清720×480、60I（即每秒30帧隔行）；高清1920×1080、60I。 其实制式和分辨率压根没关系,制式是视频帧数,PAL是每秒25帧,NTSC是每秒30帧,分辨率是视频尺寸大小,那些所谓的电视标准,只...转载 2018-09-28 16:46:24 · 9733 阅读 · 0 评论 -
ffmpeg（软）编码推流 - Android
-- ffmpeg推流：用到了ffmpeg库，以及编码视频的x264，编码音频的fdk-aac，推流使用的rtmp等acc：RTMP的音频格式；flv： RTMP的视频格式；-- 视频流中的几个参数：public static final int NAL_UNKNOWN = 0;public static final int NAL_SLICE = 1; /* 非关键帧...转载 2018-10-14 21:37:53 · 2234 阅读 · 0 评论 -
Android AudioTrack播放(解码)音频
-- MediaPlayer，AudioTrack 1.MediaPlayer能够播放多种格式的声音文件，比如MP3，AAC，WAV，OGG，MIDI等。MediaPlayer包括了AudioTrack。 2.AudioTrack仅仅能播放已经解码的PCM流，假设是文件的话仅仅支持wav格式的音频文件，由于wav格式的音频文件大部分都是PCM流。AudioTrack不创建解码器。所以仅仅能播...转载 2018-12-26 18:42:33 · 3750 阅读 · 0 评论 -
视频原理：预测/变换+量化处理/熵编码/环路过滤器【 矢量量化和标量量化(语音识别，图像压缩)等 】
视频编码：预测 -> 变换+量化处理 -> 熵编码 -> 环路过滤器；视频解码：熵编码 -> 预测 -> 反量化处理+变幻 -> 环路过滤器；-------------1. 视频预测谷歌大脑提出基于流的视频预测模型，可产生高质量随机预测结果-https://www.jiqizhixin.com/articles/2019-03-09-2基于深度学习的...转载 2019-06-10 13:03:26 · 3207 阅读 · 0 评论 -
熊猫TV技术与直播技术相关
音视频处理的一些流程：客户端编译、采集、推流、拉流、美化特效、水印、延时优化、音视频同步、p2p等等。当然还可能包括一些信号处理的知识，比如滤波，傅里叶变换（FFT）。> 熊猫TV技术架构聚光灯下的熊猫TV技术架构演进-- http://geek.youkuaiyun.com/news/detail/99651 直播面临的核心问题是网站稳定可用、视频流畅清晰、弹幕互动效果稳定。 端:Web...转载 2017-07-05 10:23:00 · 6066 阅读 · 0 评论 -
音视频处理（直播等流媒体/多媒体）
方案： x264、mp3lame、faac、ffmpeg,opengles,OpenCV,opencl，实现图像滤镜，图像美化; android视频处理如秒拍，美拍，gif快手> ndk 编译ffmpegUbuntu 14 - http://releases.ubuntu.com/14.04/ windows下安装Ubuntu，即有双系统。Ubuntu 14 , ubuntu 1...转载 2016-09-22 13:40:34 · 4336 阅读 · 0 评论