kittyzc的博客

视频流转码的时候遇到了点麻烦，下面分析一下。1 BGR vs YUVBGR格式的shape为(width, height, 3)，最后的3按照blue、green、red排列。YUV格式中的Y、UV分别代表Luma、Chroma。UV分别描述色彩和饱和度。YUV的好处是，将亮度与颜色分离，即使丢弃UV，仍然能够正常显示黑白图片。下面是一个例子：2. 各种YUV编码方式YUV码流的存储格式有2个关键点：1）Y与UV的采样，主流的采样方式有三种，YUV4:4:4，YUV4:2:2，YUV4:2

1. 目标目标如下图，搭建如下的应用项目首先需要有一台jetson的设备，参考系列14配置环境2. GStreamer Daemon这东西在百度上都没有资料，只能自己去啃英文资料了。简单来说，就是使用中间协议控制音视频的协议框架，其他程序可以通过接口来访问。下图是mvc设计框架：GstD包含model和controller两部分，用户需要实现view的部分。安装方法：sudo apt-get install \automake \libtool \pkg-config \libgs

1. 图像基础黑白图像用一个二维矩阵表示，灰度用0-1之间的数值表示。彩色图像分通道表示，如下图，每个通道是0-255之间的整数。注意数值越大越白，越小越黑。不管是RGB还是BGR，都是高度×宽度×通道数，H×W×C的表达方式，而在深度学习中，因为要对不同通道应用卷积，所以用的是另一种方式：C×H×W。使用numpy的transpose函数可以进行转换。基于python脚本语言开发的数字图...

1. 模拟流测试方式：vlc rtsp://localhost:8554/mystream1.1 最简单的方式：rtsp simple server首先起一个界面拉取镜像：docker run --rm -it -e RTSP_PROTOCOLS=tcp -p 8554:8554 -p 1935:1935 aler9/rtsp-simple-server接着打开另一个界面，进行起流：ffmpeg -re -stream_loop -1 -i last_helmet.mp4 -c copy -

1. 快速上手使用pip install ffmpeg-python进行安装两种使用方式，一般用第二种：import ffmpegstream = ffmpeg.input('input.mp4')stream = ffmpeg.hflip(stream)stream = ffmpeg.output(stream, 'output.mp4')ffmpeg.run(stream)和import ffmpeg( ffmpeg .input('input.mp4')

1. rtsp vs rtmp现代浏览器不支持rtsp、flash也不支持rtsp，目前的CDN也都是基于RTMP的，开发个应用必须要转码；其次rtsp流的UDP包丢失概率很大（拉流下来经常会有损坏），而rtmp是基于tcp的可靠传输层协议，效率高速度快还稳定。所以吧，自己用的话，摄像头还是选rtmp流的，省的折腾。2. rtsp妥协方案（1）转RTMP：ffmpeg + nginx（带rtmp插件）。测试延时普遍在1-3秒。（2）转HLS：ffmpeg + nginx，服务器软件将接收到的流每缓

1. 基础知识FOURCC是一个4个字节32位的标识符，通常用来标示视频数据流的格式，播放软件可以通过查询FOURCC代码并寻找对于解码器来播放特定视频流，取值通常由各个格式标准自行定义，如DIV3、DIVX等。DCT类似于只使用实数且长度为两倍的离散傅里叶变换，常在信号和图像处理或对数据进行有损压缩时候使用，其fnf_nfn​常用形式为fm=Σk=0n−1xkcos⁡[π/n(k+0.5)]f_m=\Sigma ^{n-1}_{k=0}x_k\cos[\pi/n(k+0.5)]fm​=Σk=0n−1​

1. 存储格式1.1 WAV、WMV、WMA、ASF、MMS、AVI：微软全家桶微软的东西，windows用户经常能见到。首先是wav音频文件。WAV是微软开发的一种声音文件格式，它实际是采用RIFF文件规范存储的，WAV是文件的扩展名，内中音频的格式通常是PCM，也可以存储一些压缩过的数据；然后是名为WMA的音频编码格式，能够以较MP3少1/3～1/2的码率存储相似音质的音频，通常后缀名为“.wma”。wmv/asf是一系列由微软开发的视频编码格式和文件格式。其中WMV version 9因为被许

1. 使用vlc，自带server安装好vlc软件，然后用如下命令起流Applications/VLC.app/Contents/MacOS/VLC -vvv test.264 –sout ‘#rtp{sdp=rtsp://:5544/test}’;vlc会自动创建server，不错哦。2. 使用ffmpeg，nginx做server参考这里mac貌似自带ffmpeg，没有的话就安装一个，然后ffmpeg -re -i test.mp4 -vcodec copy -codec copy -