- 博客(11)
- 资源 (15)
- 问答 (1)
- 收藏
- 关注
原创 聚类算法学习记录
贝叶斯分类,公式如下:w为类别,亦即模型;x为事件,亦即观察量;已知先验概率p(w)(模型分布概率);类条件概率(p(x|w)),给定模型下观察量发生的概率;观察量发生概率(p(x))求取后验概率(p(w|x)),也就是是观察量发生的时候属于类w的概率,后验概率越大,属于某一类的可能性越高,所以就分给对应的类。在两类分类的时候,并不关心p(w|x)具体,只关心他们比例即可,似然比来决定分类。极大似...
2018-05-31 19:43:58
492
1
原创 卡尔曼滤波核心思想个人理解
最近在研究语音增强算法,这两天正在看卡尔曼滤波,看到一个关于卡尔曼理论很好的帖子:How a Kalman filter works, in pictures,基本上把卡尔曼滤波的核心思想讲明白了,而且通俗易懂,特此推荐,同时也记录一下自己对卡尔曼滤波思想的理解本文公式均来自上述帖子。 卡尔曼滤波运用于具有不确定性的动态系统状态估计,该系统一般具有两个状态,一个通过状态转移方程得到的...
2018-05-31 19:15:30
3829
原创 webrtc语音增强处理算法综述
作为实时音视频通信框架的webrtc,里面有着丰富的语音处理算法,其中主要涉及到AEC(声学回声抑制),NS(噪音抑制),AGC(自增益控制),VAD(语活检测)和CNG(舒适噪声)等。语音处理数据分为近端和远端,近端数据是采集到的音频数据,远端数据为接受到并播放的数据,一般算法都是以远端数据为参考,对近端数据,处理数据为pcm数据,支持8k、16k、32k和48k采样。webrtc语音处...
2018-05-15 10:44:50
4571
5
原创 微信小程序实时音视频开发记录
以前做过一个简单的小程序,但是到现在回想怎么开发小程序,竟然一点也想不起来,鉴于学过的东西老是忘掉毛病,现在借项目需要小程序音视频功能,记录一下小程序开发步骤和小程序视频音视频功能的使用。 由于完全不记得小程序开发步骤和代码结构,只有重头开始学习,我首先阅读了官网基础教程,看完官网基础教程,基本上对可以进行小程序开发了。现在我来说说我的理解,要进行小程序开发的第一步就是在小程序申请官...
2018-05-07 14:43:20
12553
4
原创 ijkplayer直播播放器使用经验之谈——卡顿优化和秒开实现
在我的博客移动平台播放器ijkplayer开源框架分析(以IOS源码为例),大致介绍了一下ijkplayer的基本函数调用顺序和主要线程作用,本博客想介绍一下在直播应用中,针对卡顿和秒开做的一些优化,本优化经验主要是用在Android系统上,ios上也可以借鉴,按本博客修改代码,网络带宽足够的情况下,音视频播放基本流畅不卡顿,首屏时间在500ms以内。 首先来看直播应用中的卡顿。直...
2018-04-30 16:00:47
19120
7
原创 移动平台播放器ijkplayer开源框架分析(以IOS源码为例)
ijkplayer是一个Android和ios双移动平台开源播放器,其内核基于ffplay,很多互联网公司播放器都采用了该播放器,尤其是大部分直播应用app,因此如果我们自己开发移动端播放器,ijkplayer将是不二选择。我因为公司直播项目用过ijkplayer,对里面代码也比较熟悉,所以写此博客与大家分享一下该项目的源码框架结构,如有理解不正之处,还望多多指教。 首先我们来看看从...
2018-04-30 11:16:27
4006
原创 开源框架GPUImage结构分析
GPUImage是IOS上基于opengl的图像、视频处理开源框架,里面带有大量的滤镜,同时也很方便在原有基础上加入自己的滤镜Filter,所有滤镜是基于opengl shader实现的,所以滤镜效果图像处理是在GPU上实现的,处理效率比较高,在iPhone6及其以上手机,可以做到实时流畅的效果。 GPUImage基本架构是chain式结构,主要由一个GPUImageOutput i...
2018-04-26 14:26:12
2204
原创 ios视频处理中CPU和GPU的高效连接桥梁——共享内存(CVPixelBufferRef)
iphone的cpu对于处理视频来说能力是非常有限的,所以在ios开发中,如果要进行视频处理,比如滤镜、美颜等,都会用到设备的GPU能力,也就是会用到opengl es的api,而CPU和GPU之间的数据传递效率十分低下,尤其是从GPU回传数据到CPU,更是缓慢。如用glReadPixels从GPU读取数据,如果用这种模式,想要做到实时很难。鉴于此,今天主要介绍一下ios中GPU和CPU的...
2018-04-24 20:43:05
6879
3
原创 Android基于共享texture(surfaceTexture)实现glSurfaceView高效camera预览
处理和渲染视频需要较高的性能,而移动端的cpu性能有限,所以在处理和渲染视频的时候尽量要用gpu的能力,在移动设备里主要是opengles api的使用,今天主要想介绍一下通过共享texture(surfacetexture)来实现Android camera的高效预览。 在本文中主要介绍Android camera预览,用opengl shader对camera数据进行简单的对比度...
2018-04-24 17:55:10
4267
1
原创 正交变换与深度学习网络之间的类比杂谈
最近AI很火,深度学习作为核心理念被众人所知,因为我一直从事音视频行业,音视频(听觉与视觉)本来就是人类与外界交互的接口,而AI其实也就是要在机器上模拟人类与外界交互的方式,因此人工智能主要主要输入信号也是两个:图像和音频。 传统的模式识别里面,主要是对信号进行特征提取,然后对特征进行识别,这样既能减除大部分无谓的干扰,又能降低识别的运算量。所谓特征就是信号的本质,本质总是能通过各种...
2018-04-23 21:06:35
1234
原创 音视频应用基本框架介绍
毕业以来,一直在音视频相关行业工作,学过很多东西,也做过很多东西,但是从来没有系统的做过总结,现在回头想想,好多都快忘了,为此想写一系列博客,把自己的对音视频理解和想法记录下来,以便将来可以查阅,同时也希望能给其他同仁一些启发和帮助,也希望大家能对我的看法不妥之处提出宝贵意见,帮助我提高水平。 我打算先总体介绍一下音视频应用框架,并对其中的各模块进行简述,在后续的博客里面在对每个模块...
2018-04-23 20:43:20
3068
Android基于共享texture实现camera在glSurfaceView的高效预览
2018-04-24
基于sdl2.0和ffmpeg的简单视频播放器
2013-10-12
H264编码开源VS2005项目X264
2013-10-12
Windows网络编程六种Socket I-O模型C++源代码
2013-02-26
MFC(VC6.0和VS2008)采用ADO访问access数据库(学生成绩管理系统)
2012-08-02
Intel JPEG Library
2011-03-11
亿图流程图及网络图绘制软件
2011-03-02
webrtc算法解析资料,agc,ans,aec
2021-11-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人