qq_33277028的博客

9.1、APU APU：Accelerated Processing Unit，加速处理器。AMD公司推出加速图像处理芯片产品。9.2、BPU BPU： Brain Processing Unit，大脑处理器。地平线科技提出的嵌入式人工智能处理器架构。第一代是高斯架构，第二代是伯努利架构，第三代是贝叶斯架构。目前地平线已经设计出了第一代高斯架构，并与英特尔在2017年CES展会上联合推出了ADAS系统（高级驾驶辅助系统）。9.3、CPU ...

材料与制造技术的进步推动了微电子技术的发展，微电子技术的进步推动集成电路的发展，集成电路的发展推动了显示芯片的发展。 显示技术发展过程中，遵从了双色芯片，2D芯片，3D芯片，再到智能芯片的发展过程，在芯片发展的背后，计算机图形学从早期的文本显示到后来2D、3D世界的呈现，再到今天机器视觉技术的发展。 硬件技术的提升，带来了显示标准的变化。显示标准从早期的MDA，EGA、VGA、V-Sync到今天的G-Sync和Freesync 2。标准的出现指导着硬件的...

时光变幻，岁月横流，计算机应用的深度与广度增大，对图形图像处理也提出了更高的要求。传统的硬件设计、计算框架、运算理论、软件接口都面临着极大的挑战。为了适应人工智能技术的发展，软硬件技术都在进行着巨变。 智能时代创造了很多机会，塑造了无数的科技巨头，公司有更大的科技自由度。智能时代技术百花齐放，硬件辈出、框架争鸣、平台显现、万马奔腾。 不同的硬件框架适应显示的需求。显示技术的后面，有着GPU架构和并行计算架构在支持。在相关专题。阐述主流的C...

NPU（Neural network Processing Unit）， 即神经网络处理器。用电路模拟人类的神经元和突触结构。NPU为神经网络而生，对神经网络进行硬件支持。 嵌入式神经网络处理器（NPU）采用“数据驱动并行计算”的架构，特别擅长处理视频、图像类的海量多媒体数据。视频与图像是人工智能数据的重要组成部分，在今天有着最广泛的应用。 NPU是网络处理器，可以认为是一个组件（或者子系统），有时候也称为NPU协处理器。NPU和TPU一样，偏...

TPU（Tensor Processing Unit）张量处理单元，为机器学习定制的芯片，经过专门深度机器学习方面的训练，它有更高效能（每瓦计算能力）。 谷歌，2015年6月，I/O开发者大会上推出的计算神经网络专用芯片，为优化自身的TensorFlow机器学习框架而打造，主要用于AlphaGo系统，谷歌地图、谷歌相册和谷歌翻译等应用中。进行搜索、图像、语音等模型和技术的并行处理。 7.5.1、TPU发展史 20...

通用图形处理器（General-purpose computing on graphics processing units，简称GPGPU），利用处理图形任务的图形处理器来计算原本由中央处理器处理的通用计算任务。这些通用计算与图形处理没有关系。 现代图形处理器有强大的并行处理能力和可编程流水线，流处理器可以处理非图形数据。在面对单指令流多数据流（SIMD），且数据处理的运算量远大于数据调度和传输的需要时，通用图形处理器在性能上大大超越了传统的中央处理器应用程序。7...

APU是“Accelerated Processing Units”的简称，中文名字叫加速处理器，是AMD融聚未来理念的产品，它第一次将处理器和独显核心做在一个晶片上。 CPU与APU协同计算、彼此加速，具有高性能处理器和最新支持DX11独立显卡的处理性能，大幅提升电脑运行效率，实现了CPU与GPU真正的融合。APU是处理器未来发展的趋势。7.3.1、AMD与APU 从APU发展来看，AMD让CPU和GPU彻底融为一体，无论是AMD的Llano，还是...

VPU(Video Processing Unit，视频处理单元）是一种全新的视频处理平台核心引擎，具有硬解码功能以及减少CPU负荷的能力。VPU可以减少服务器负载和网络带宽的消耗。 VPU由ATI提出，区别于传统GPU（Graph Process Unit，图形处理单元）。图形处理单元又包括视频处理单元、外视频模块和后处理模块这三个主要模块。7.2.1、VPU的基础特性 A、支持视频编解码标准类别丰富，图像高清。 B、支持多种抗误码工具...

7、显示标准与视频处理单元 消费级视频智能处理大体有10年左右，有了巨大的发展，展望未来，对应于大厂而言，竞争是标准的竞争。包含显示标准与处理单元，竞争推动了科技的进步，市场的繁荣。 新的显示硬件也不断发展，GPU基础上，出现了GPGPU、TPU、NPU、VPU、APU等新的视频处理单元，相信未来有更多的数据硬件处理单元出现。 人工智能还处在初级阶段，标准与规范处在变化中，随着高清晰视频硬件的出现，软件算法很多方面也面临着调整。近些年各国重视人工智能的发展，资...

6.8、启示 硬件是推动软件技术发展的原动力，在硬件技术进步的基础上，智能时代为图形图像、音视频领域添加了人工智能的成分。 从图形图像角度来说，不仅是硬性参数的提升，更是对图像数据的智能修复处理。从视频角度来说，不仅仅是摄影、录制、编排硬术的提升，更是对视频数据的深度挖掘。 智能修复与深度处理从前是不可想象的，当流媒体技术过渡到深度处理时，代表着人类信息加工能力的显著增强。从早期自然语言处理到今天流媒体的并行运算，代表着是技术的巨大进步。 ...

6.6.4.5、OpenAL OpenAL，英文全称为：Open Audio Library，自由软件界的跨平台音效API，由Loki Software，主要应用是在音效缓冲和收听中编码。 OpenAL设计给多通道三维位置音效的特效表现，其 API 风格模仿自OpenGL。 Loki 倒闭以后，该开发接口，开始由自由软件/开放源始码社群继续维护。最大的主导者是创新科技，并得到来自 Apple 和自由软件/开放源代码爱好者的持续支援。这是今天仍在活跃的基本原...

6.6.4.3、OpenACC OpenACC，开放式并行编程标准，程序员能够轻松利用异构 CPU/GPU 计算系统的强大能力。和CUDA一样，是并行计算的主要平台架构。6.6.4.3.1、简介 OpenACC 为并行程序员给编译器提供简单的提示，通过指令，使编译器能够识别哪些代码部分需要加速，无需程序员修改或改编底层代码本身。简化并行编程标准，把计算任务映射到加速器这方面，指令向编译器呈现出并行机制，从而让编译器能够更好执行工作。 OpenACC 指令由 PGI、Cr...

6.6.4.2、OpenMP OpenMP是OpenMP Architecture Review Board牵头提出的，已被广泛接受，用于共享内存并行系统的多处理器程序设计，并提供一套指导性编译处理方案(Compiler Directive)。 OpenMP支持的编程语言包括C、C++和Fortran；支持OpenMp的编译器包括Sun Compiler，GNU Compiler和Intel Compiler等。6.6.4.2.1、简介 OpenMp...

6.6.4、其它相关库 智能时代是百花齐放的时代，芯片技术驱动硬件技术，芯片指令提供操作接口，操作接口驱动运算平台，运算平台驱动机器学习库。本主题介绍部分机器视觉和并行计算库。6.6.4.1、OpenCV OpenCV是基于BSD许可（开源）发行的跨平台计算机视觉和机器学习软件库，运行在Linux、Windows、Android和Mac OS操作系统上。轻量高效，由一系列 C 函数和少量 C++ 类构成，提供了Python、Ruby、MATLAB等编程接口，实现了图像处...

6.6.3、机器学习库 机器学习是人工智能的重要组成部分，机器学习是一个完善的生态环境，对于人工智能而言，算法库是重中之重。降低了智能视觉分析的门槛，加大了人工智能的应用。人工智能算法库有很多，本部分重点讨论应用广泛的两个神经网络库，TensorFlow和PyTorch。 神经网络可以指向两种，一个是生物神经网络，一个是人工神经网络。6.6.3.1、生物神经网络 生物神经网络：一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物...

无论对于机器视觉，还是人工智能，相对从前，数据量发生了地覆天翻的变化。传统的运算框架不能满足现实的发展。人工智能影响不是一点一线，而是整个计算体系。 从AI/AR/VR芯片，到GPU数据处理，再到平台架构，框架编程，外部接口调用，都有巨大的变革。今天我们谈一下基于大批量数据的运算框架。 GPU的参与数据处理已经多年，多年发展过程中，GPU不过是硬件的支持(如下图)，指令的提供，传统的工程师很难进行指令级的开发。所以，运算平台出现了，拓展了技术应用，便捷了软件...

6.6、智能时代软件发展 天下事物发展一分为二，软硬件技术也不例外，第二次工业革命电磁理论，石破天惊，在后期推动了计算机技术的进步。为第四次科技革命的发展做好了硬件的铺垫。在硬件大力发展背后，智能时代软件的号角吹响了。 人类在智能科技方面的探索没有终点，也很难找到起点。人工智能探索过程中，软件方面有着天翻地覆的变化，下面从编程语言、运算平台、机器学习库等方面分别进行阐述。6.6.1、人工智能编程语言 人工智能编程语言是一类适应于人工智能和知识工程领域的...

6.3、机器视觉 机器视觉是人工智能快速发展的一个分支，也是智能视觉重要的一部分。机器视觉就是用机器代替人眼来做测量和判断。 机器视觉系统通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息。根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果控制现场的设备动作。 机器视觉是一项综合技术，包括图像处理、机械工...

6.2、硬件发展 人工智能时代需要硬件的支持，不仅仅是外设，更是数据计算。在此需求下，不仅外设的繁荣，更是芯片技术的爆发。 芯片技术为智能处理提供了基础，在数据阶段处理，为CPU、GPU提供物理计算基础，在此基础上，有了并行计算架构。无论云平台、大数据、机器学习、区块链无一不是建立在并行计算的基础上。 60年代，中国挥剑斩芯片，丧失发展先机。今天，倾国之力，十万亿级投资，发展芯片，留给我们多少启示。 下面通过芯片、相机传感器硬件角度讲述，其...

前置：1、本主题的智能时代和主题5的智能时代有别，主题5讲述的智能时代是智能手机时代，本主题讲述的智能时代是人工智能时代。 2、本主题分为多部分介绍，相关主题参考博客其它部分。 整理这篇文字时，很难分清楚那些是讲述人工智能，那些是讲述视频技术，那些是讲述机器视觉，那些是讲述计算视觉，那些是讲述图形图像，那些是讲述视音频技术。技术上，智能时代代表着一个综合的技术范畴，有一定的混合性与不确定性。 智能时代和其它时代相比，没有比较明确的界限。人工智能一...

5、移动时代 移动时代可以追踪到很远，从古老的电台到1948年贝尔实验室的Bell boy，到1956年摩托罗拉的BP机。寻呼机的发展历史，主要是通讯技术的进步。和主题有一定偏差，不做阐述。翻开半个多世纪的画卷，历史没有想到的是，通讯技术在今天有如此傲娇的成绩。 早期电脑至上，后来移动至上。不可怀疑的是，移动互联网高速发展的今天，手机成为应用系统最重要的终端。 移动端图形系统的研究，是移动应用终端开发的重中之重，也是手机底层技术的核心要素。...

4、3D时代 历史长河中，科技进步是人类文明的主要推动力。沧海桑田，天下多变，人类对科技的研究与探索从未停止，计算显示技术也不例外。 现实是3D的，显示硬件注定也是3D的。透过历史的云烟，得到岁月的启示，硬件对3D技术的支持是显卡厂商存活的根本。硬件对图形图像引擎的支持，是显示芯片公司做大做强的基础。引擎支持主要包括OpenGL和D3D引擎支持，在2000年前尤为明显。 科技的风风雨雨，面临着技术的抉择和选型，无论辉煌黯淡，时光默然前行，那些远行的技术，做...

3、2D时代 几十年工艺改进，解决了基本制造问题，计算机开始向应用过渡。显示问题是首当其冲的问题，多年的思辨与实践，2D技术横空出世，完善发展，为计算机的应用推广做出了卓越的贡献。双色显示的星星之火，在2D时代终于熊熊燃烧，计算机走向民间的时代到来了。 下面从公司产品的角度，回顾2D时代的图形图像编程。3.1、公司3.1.1、Amiga Amiga是80年代图形性能最强大的电脑之一，拥有专门处理图形的芯片。杰.迈纳是当年显卡芯片设计的灵魂人物。下图Am...

电脑上炫酷的展示，生动的形象，离不开硬件的支持，硬件是音视频编程文化的一部分。开发者有必要对相关硬件大概了解。本专题涉及视频硬件相关话题，音频相关以后讲述。 视频编程的本质是图形图像编程，本专题以时间为主线，以公司硬件发展为点位，以图像图像开发接口为切面，宏观进行介绍，希望对视频编程开发者进行有益的启示。 本系列文章依发展顺序，从早期起源开始，再到2D时代，3D时代，移动时代，智能时代，最后到显示标准与专业视频处理单元，大体分为6部分。 ...

目录1、技术基础1.1、视频采集1.2、视频压缩1.3、视频编码1.4、视频存储1.5、视频播放1.5.1、本地视频播放四个阶段。1.5.2、在线视频播放四个阶段：2、核心技术2.1、GPU2.2、OpenGL & OpenGL ES2.3、OpenCV2.4、DirectX2.5、CUDA2.6、OpenCL2.7、Metal3、短视频SDK技术3.1、国内SDK现状3.2、美摄SDK4、外延技术4.1、HTTP

2005年，陈凯歌花三亿元，拍摄《无极》。捧红了一个人，并怒骂其无耻，此人创作了一部电影，《一个馒头引发的血案》。这两个人当时都没想到，这部20分钟的电影为短视频的发展埋下了伏笔，从此陈凯歌依然耀眼，但此人开始沉默，他就是胡戈。这中了一句话，搞艺术的期盼着技术。 2007年，IOS与Android横空出世，但高冷寂寞，高配置的手机未能邂逅音视频的浪漫。那一年开始，IOS和Android在等待。 2011年，从清华大学退学的宿华，经历了两次创业之后，开始华...

社会的发展是文明的传承，遥远的结绳记事到唐诗宋词，戏曲杂耍到电影电视，期刊报纸到流动媒体。文明的背后，是文化的倾诉。 2012年开始，数十年发展，短视频成为信息最重要的载体，成就万亿级市场。经历了诞生、成长、蜕变、应用的过程。抛开资本推手的迷雾，揭开短视频的面纱。1、碎片属性技术发展，效率提升，物质发达，闲暇时间增多，带来精神需求的旺盛，认知交往的增多。短视频短小零星，间隙时间成长，闲暇成为短视频成长的土壤。短视频碎片属性是一种精神文化，伴随着物质文明的发展。...

科技发展，技术进步，音视频异军突起。无视频，不网络，短视频成为最重要的信息载体之一，是互联网核心组成部分。构建高效的短视频平台，是慎之又慎的问题。从架构的角度，探讨短视频平台的构建与技术选型问题。从以下几点进行介绍。1、云平台层构建 短视频平台数据量以PB、EB来计算，未来几年将以ZB和YB来计算。大的数据量，需要云平台。最好构建独立的云，降低成本，可开发性、可扩展性、可维护性较高。目前国内大型短视频平台都是自建云。云的选型，平台面向形形色色的人群，选择SAAS平...