吴建明wujianming_110117

Camera摄像头特定应用杂谈

图像与点云三维重建算法

2021 年音视频技术与发展2021 年，音视频技术的应用场景已随处可见，从游戏场景「吃鸡」、电商场景直播连麦、教育场景授课答题，再到金融场景银行视频开户等都有身影。那么，回望今年音视频领域到底有哪些突破性技术表现？未来，音视频赛道在流畅性、海量并发等存在诸多技术痛点的地方是否会迎来拐点呢？能否从各种角度和领域来盘点一下。2021 年，音视频技术的应用场景已随处可见，从游戏场景「吃鸡」、电商场景直播连麦、教育场景授课答题，再到金融场景银行视频开户等都有身影。那么，回望今年音视频领域到底有哪些突破性技术表

原子层沉积（ALD）和化学气相沉积（CVD）微电子制造铜金属化的研究进展Atomic Layer Deposition (ALD) andChemical Vapor Deposition (CVD)of Copper-based Metallizationfor Microelectronic Fabrication

camera数字降噪（DNR）闭路电视摄像机 无论多么出色和弱光，在黑暗中拍摄视频监控录像时都会不可避免地产生一些噪音。噪声是任何电子通信中不可避免的部分，无论是视频还是音频。本质上是静态的–视频信号中的干扰，在图像帧中表现为白色和黑色斑点，使其呈现颗粒状外观。昏暗的光线不足会导致相机难以区分颜色和对比度，导致图像中的像素混合在一起，而不是正确且细节丰富。当不良照明导致图像中的光太接近传感器中自然存在的噪声水平时，也会发生图像噪声，从而使传感器很难感应到图像。在较大的分辨率下，噪声也更为普遍（或至少更

Camera噪声问题Camera RGB 域的噪声以上部分属于sensor processing，接下来的部分属于color、luminance processing。gammagamma是在RGB域设置一个gamma table去对应给每一个像素值增加一个适当的增益提高暗区的亮度水平。gamma的由来是由古老的显示屏来的，gamma校正基本上是为了提升暗部细节，可以理解为在数字gain增加，会显著增加暗区的噪声，针对不同平台或者设备gamma的核心理念都是一样的，只不过对于gamma LUT的数据

camera中LENS和SENSOR的CRA是如何搭配的？camera中，lens和sensor的搭配是非常关键的问题。但这两者是如何搭配的呢？一般在Sensor data sheet中会附有全视场CRA参考值，不同sensor厂家有不同的要求，可以按照这个来做设计参考。有的Sensor厂家在公开的数据表中不会show出来，但可以跟索取。CRA 是什么东东啊，一般的LENS厂家都会提供能与只配合的sensor资料，只要sensor 能放到相应LENS的HOLDER 里去就可以了，sensor不有1/3

Camera Lens CoatingCoating Progress转换镜头，根据要求进行OEM和设计。光学元件：望远镜、显微镜、相机和数码相机镜头、放大镜头和远摄镜头、定心镜头、投影镜头、投影镜头、照明镜头、球面和非球面镜头、扫描镜头等。不同透镜的应用土建：大型运动广场、大型会议室、城市环境保护、城市夜景整体图、城市消防森林消防、大型工作广场控制、河工监督、大型渔业、高速公路监督、城市灯光控制。军事：边防，海防，大炮瞄准，潜艇换镜，无人飞机光学雷达跟踪，导弹跟踪。夜锁：石油厂铁厂福特无光

CVD-ALD前驱体材料ALD前驱体源瓶特点是什么ALD前驱体源瓶（起泡器）用于固态、液态及气态超纯物料类的封装，涉及微正压、常压、中低压的危险化学品，对源瓶的安全性和洁净度提出严苛的要求。ALD前驱体源瓶特点：所有管件采用316L不锈钢，内部经400目机械抛光和电化学抛光，Ra≦0.25微米；阀门有美国世伟洛克球阀和隔膜阀、日本富士金隔膜阀和韩国TK隔膜阀供选择；密封垫片选用纯银镀镍垫片；氦质谱检测泄漏率≦1.0*10-10mbar L/s；可盛装化学品纯度≧99.9995;总残余元素量

Non-Maximum Suppression，NMS非极大值抑制概述非极大值抑制（Non-Maximum Suppression，NMS），顾名思义就是抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。这里不讨论通用的NMS算法(参考论文《Efficient Non-Maximum Suppression》对1维和2维数据的NMS实现)，而是用于目标检测中提取分数最高的窗口的。例如在行人检测中，滑动窗口经提取特征，经分类器分类识

台积电5nm光刻技术在IEEE IEDM会议上，台积电发表了一篇论文，概述了其5nm工艺的初步成果。对于目前使用N7或N7P工艺的客户来说，下一步将会采用此工艺，因为这两种工艺共享了一些设计规则。新的5nm制程使用了台积电的第五代FinFET技术，在7纳米基础上提供一个完整的工艺节点，并使用EUV极紫外光刻技术扩展到10多个光刻层，与7纳米相比减少了生产总步骤。关键数字如果只是来了解关键数字的，那答案就在这里。台积电表示，5nm EUV工艺使得晶体管密度增加到大致1.84倍，能效提升15%，功耗减少

Halide应用开发基本原理1.1、介绍随着人工智能的普及，深度学习网络的不断涌现，为了让各硬件(CPU, GPU, NPU,…)能够支持深度学习应用，各硬件芯片需要软件库去支持高性能的深度学习张量运算。目前，这些高性能计算库主要由资深HPC工程师(高性能计算优化工程师）进行开发，为了加快开发进程，缩短深度学习应用落地周期，自动化算子优化是一个趋势。AutoKernel是由OPEN AI LAB提出的高性能算子自动优化工具，可以自动优化调度策略、生成底层优化代码，大幅减少各硬件芯片算子开发成本

Octave Convolution卷积MXNet implementation 实现for:Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave ConvolutionImageNetAblation• Loss: Softmax• Learning rate: Cosine (warm-up: 5 epochs, lr: 0.4)• MXNet API: Symbol

Deformable 可变形的DETRThis repository is an official implementation of the paper Deformable DETR: Deformable Transformers for End-to-End Object Detection.该存储库是论文《可变形DETR：用于端到端对象检测的可变形变压器》的正式实现。https://github.com/fundamentalvision/deformable-detrIntroducti

RGBD动作识别的多视图层融合模型摘要基于视觉的动作识别在实践中遇到了不同的挑战，包括从任何角度识别主题，实时处理数据以及在现实环境中提供隐私。甚至识别基于配置文件的人类动作（基于视觉的动作识别的一个子集），在计算机视觉中也是一个巨大的挑战，它构成了理解复杂动作，活动和行为的基础，尤其是在医疗保健应用和视频监控系统中。因此，介绍了一种构建图层特征模型的新方法用于基于配置文件的解决方案，该解决方案允许融合多视图深度图像的功能。该模型能够以63 fps的实时运行速度从多个低复杂度的角度进行识别，以进行基于配

双圆弧插值算法（三，代码实现）交互式演示 这是一个用HTML5编写的交互式演示。要移动控制点，请单击并拖动它们。若要移动切线，请单击并拖动控制点外的区域。默认情况下，曲线保持d1和d2相等，但也可以在下面指定自定义d1值。代码到目前为止，我们只讨论了二维情况。让我们编写一些C++代码来解决三维的情况。它非常相似，除了每个弧可以在不同的平面上对齐。这将在查找旋转方向和平面法线时创建一些调整。经过几次交叉积后，一切都成功了。 这些代码示例是在以下许可下发布的。/*******************

双圆弧插值算法（二）找到中心找到连接点后，就可以求解圆心。我们定义一个向量，n1，垂直于t1。这最终是一个与（c1−p1）平行的标准化向量。从p1到c1的方向。综合起来，我们得到了c1的解。通过检查上述方程中的分母，我们可以看出，如果p1到pm的向量与t1共线，它将为零。圆的中心基本上被推到无穷远，这给我们留下了p1和pm之间的一条直线，而不是一条弧。对c2使用相同的方法得出：选择方向现在我们需要选择围绕中心点旋转的方向。这取决于d1和d2的符号。对于正的情况，我们选择绕圆较短的路径。对于

双圆弧插值算法（一）Biarc Interpolation在游戏开发中经常出现两点间的插值问题。大多数情况下，只需要一个简单的线性插值。线性插值很好，因为不会真的弄错。只有一条可能的线连接这些点。跟着走。当需要曲线插值时，求解会变得复杂得多。有无限数量的曲线可供选择，并有许多方法来生成：NURBS、Catmull Rom、Bézier、Hermite等。想讨论一种生成圆形圆弧的不太常见的方法。为什么想要一个圆插值？一个原因可能是看起来很悦目，但也有一些实际用途。如果正在制作一个放置道路的水平编辑工

Kaggle上的犬种识别（ImageNet Dogs）Dog Breed Identification (ImageNet Dogs) on Kaggle在本节中，将解决在Kaggle竞赛中的犬种识别挑战。比赛的网址是https://www.kaggle.com/c/dog-breed-identification在这场竞赛中，试图鉴别120种不同品种的狗。本次竞赛中使用的数据集实际上是著名的ImageNet数据集的一个子集。与CIFAR-10数据集中的图像不同，ImageNet数据集中的图像更高更

图像合成与风格转换实战神经式转移 Neural Style Transfer如果使用社交分享应用程序或者碰巧是个业余摄影师，对过滤器很熟悉。滤镜可以改变照片的颜色样式，使背景更清晰或人的脸更白。然而，过滤器通常只能改变照片的一个方面。要创建理想的照片，通常需要尝试多种不同的过滤器组合。这个过程就像调整模型的超参数一样复杂。在本文中，将讨论如何使用卷积神经网络（CNNs）自动将一个图像的样式应用到另一个图像，这一操作称为样式传输。这里，需要两个输入图像，一个内容图像和一个样式图像。使用神经网络来改变内容

视频系列：RTX实时射线追踪（下）Key things from part 4光线有效载荷是从一个着色器传递到另一个着色器的结构。这一切都发生在RTX的引擎下。更小的有效载荷要好得多！新的DirectX编译器允许您为着色器提供语义。您可以同时编译多个着色器，并且仍然知道哪些着色器对哪些用途有用（图13）。Figure 13. Example of a ray tracing shaders working in concertdispatch ray索引类似于CUDA中的线程ID；它标识当

视频系列：RTX实时射线追踪（上）Video Series: Practical Real-Time Ray Tracing With RTXRTX在游戏和应用程序中引入了一个令人兴奋的和根本性的转变。在这个视频系列中，NVIDIA工程师Martin Karl Lefrancois和Pascal Gautron帮助您开始实时光线跟踪。您将了解如何管理数据和渲染、加速结构和着色器如何工作，以及管道需要哪些新组件。我们还将包括本视频系列所基于的演示文稿中的关键幻灯片。这些视频包含丰富的信息，但在您观看时不

提示和技巧：光线跟踪最佳实践Tips and Tricks: Ray Tracing Best Practices本文介绍了在游戏和其他实时图形应用程序中实现光线跟踪的最佳实践。我们尽可能简短地介绍这些，以帮助您快速找到关键的想法。这是基于英伟达工程师在2019年GDC上所做的陈述。通过修剪和选择性更新，优化加速结构（BLAS/TLAS）构建/更新最多需要2ms。去噪RT效果至关重要。我们已经用NVIDIA RTX Deniser SDK打包了同类产品中最好的Deniser）。使用异步计算队列将

计算机视觉一些项目实战技术（续）PROTO-OBJECT BASED SALIENCY在本项目中，提出一种新的方法来完成显著目标侦测的任务。与以往基于聚光灯注意理论的显著目标检测器相比，遵循基于对象的注意理论，并将对象的概念直接纳入显著性测量中。特别地，把原始对象看作是分析的单位，其中原始对象是一个连接的图像区域，一旦注意力集中到，可以转换成一个可信的对象或对象部分。根据基于对象的注意理论，首先使用选择性搜索方法将复杂图像分割成原始对象，然后评估每个原始对象的显著性。最突出的原型对象被认为是一个突出

计算机视觉一些项目实战技术SELECTIVE SEARCH FOR OBJECT LOCALISATION需要多种策略来查找上述图像中的所有对象。勺子在桌子上的沙拉碗里。因此，图像本质上是层次性的，需要所有的尺度来找到这些物体。在（b）中，猫可以用颜色而不是质地来区分，而在（c）中，反面是骆驼。在（d）中，车轮是汽车的一部分，因为被车身包围着，而在颜色和质地上都有很大的不同。传统的分割方法是在任何识别之前，先将图像分割成唯一的对象。由于这是非常困难的，如果不是不可能的（见下图），研究人员通过在图

目标识别的选择性搜索Selective Search for Object Recognition论文地址：https://ivi.fnwi.uva.nl/isis/publications/bibtexbrowser.php?key=UijlingsIJCV2013&bib=all.bib代码地址：https://github.com/belltailjp/selective_search_py一．论文解析摘要本文讨论了在目标识别中生成可能的目标位置的问题。引入了选择性搜索，结合了穷

OpenCV读写图像文件解析imdecode从内存中的缓冲区读取图像。C++: Mat imdecode(InputArray buf, int flags)C++: Mat imdecode(InputArray buf, int flags, Mat* dst)C: IplImage* cvDecodeImage(const CvMat* buf, int iscolor=CV_LOAD_IMAGE_COLOR)C: CvMat* cvDecodeImageM(const CvMat* bu

图像复原的神经网络稀疏表示Neural Sparse Representation for Image Restorationpaper: https://arxiv.org/abs/2006.04357code: https://github.com/ychfan/nsr摘要受稀疏编码图像恢复模型中稀疏表示的鲁棒性和有效性的启发，研究了深层网络中神经元的稀疏性。方法在结构上加强了对隐藏神经元的稀疏性约束。稀疏性约束有利于基于梯度的学习算法，并且可以附加到各种网络中的卷积层。神经元的稀疏性使得只对

图像超分辨率算法：CVPR2020Unpaired Image Super-Resolution using Pseudo-Supervision论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Maeda_Unpaired_Image_Super-Resolution_Using_Pseudo-Supervision_CVPR_2020_paper.pdf摘要在大多数基于学习的图像超分辨率（SR）研究中，成对训练数据集是通过使用

CPU，GPU，GPGPU1．基本概念1.1 GPU图形处理器（bai英语：Graphics Processing Unit，缩写：GPU），又称显示核心、视觉du处理器、zhi显示芯片，是一种专门在个人电脑、工dao作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器。1.2 CPU中央处理器（CPU，Central Processing Unit）是一块超大规模的集成电路，是一台计算机的运算核心（Core）和控制核心（ Control Unit）。它的功能主要是解释计

LCD: 2D-3D匹配算法标题：LCD:Learned Cross-Domain Descriptorsfor 2D-3D Matching作者：Quang-Hieu Pham, Mikaela Angelina Uy,Binh-Son Hua, et al.论文地址：https://arxiv.org/abs/1911.09326摘要在这项工作中，提出了一种新颖的方法来学习用于2D图像和3D点云匹配的局部跨域描述符。提出的方法是一个双自编码器神经网络，将2D和3D输入映射到共享的潜在空间表

卷积神经网络去雾去雨方法标题：A Convolutional Network for Joint Deraining andDehazing from A Single Image for Autonomous Driving in Rain作者：Hao Sun, Marcelo H. Ang Jr. and Daniela Rus来源：IEEE/RSJ International Conference on IntelligentRobots and Systems (IROS)，2019一．

各种经典透镜投影模型Models for the various classical lens projections鱼眼镜片与其他镜片同等重要where fisheye lenses are considered on anequal footing with the others一．前言为了简化和清晰本文，摄影图像都假设是完全旋转对称的，并由折射光学产生。实际上，对于绝大多数摄影和全景（即非摄影测量）目的，这种假设现在可能是有效的。此外，矩形图像捕获设备（例如数字传感器）的中心此后假定在透镜

鱼眼相机成像技术一．特征点选取方法1.角点选取以待检测像素为圆心，3为半径，做一个圆，与圆相交的共有16个像素，检测这16个像素中与中心点的像素差大于某个阈值T时n +1，，若这16个点检测完成时n>N（N一般取11或者9）则认为该待检测像素为角点，然后循环这个过程检测没一个像素。2.特征点选取KNN 算法会为每个特征点计算出对应的最近距离匹配点，但是由于两个图像并不一定重合，因此部分特征点可能找不到对应的匹配点，需要对计算出的匹配结果进行筛选以删除不可靠的匹配点对。其中一种筛选方法如下：

图像处理 100 问！！参考链接地址：https://github.com/gzr2017/ImageProcessing100WenEnglishis here (KuKuXia translates intoEnglish)https://github.com/KuKuXia/Image_Processing_100_QuestionsChinese is here (gzr2017, my ex-colleague, translates into Chinese)https://git

匹配算法：局部结构保留Locality Preserving Matching论文地址：https://www.ijcai.org/Proceedings/2017/0627.pdf摘要在计算机视觉中，获取两个特征集合的可靠的匹配关系是一个基础而又重要的任务。本文要解决的问题是，在已知两个特征集合的候选匹配关系时，剔除错误的匹配。为了实现该算法，本文一种名为“LPM”算法，其基本思想是保留正确的匹配的局部结构的一致性。本文将该问题抽象成数学模型，并推导了该问题的解析解，该算法具有线性对数的时间复杂度

图像零交叉点，视频生成，视频识别，识别摘要，视频浓缩一．视频生成，视频识别，识别摘要，视频浓缩视频生成与视频识别视频分析的两大任务，前者侧重于对下一帧的预测，而前者则侧重于视频内容的理解。由于视频是由一系列的视频帧组成的，那么如果有大量的视频数据，通过分析视频中动态场景的变化情况，就可以合成出一些小的动态场景视频。（1）从海量的未标记视频数据获取动态场景的先验信息；（2）提出一种视频的生成模型。视频生成的原理框架如下图所示：由于视频通常由静态的背景和动态的前景构成。论文根据这一常识设计了双路

图像角点检测一．关于角点的具体描述可以有几种：（1）、一阶导数(即灰度的梯度）的局部最大所对应的像素点；（2）、两条及两条以上边缘的交点；（3）、图像中梯度值和梯度方向的变化速率都很高的点；（4）、角点处的一阶导数最大，二阶导数为零，指示物体边缘变化不连续的方向。二．近年来提出的角点检测方法大多是基于灰度图像的角点检测。主要分三类：（1）基于边缘特征的角点检测。主要分三个步骤：首先，对图像进行预分割；然后对预分割后得到的图像中边界轮廓点进行顺序编码，得到边缘轮廓链码；最后，根据边缘轮廓链码对图

计算机视觉解析力视觉的解析力，常常是指视觉语义，视觉特征，视觉场景理解，视觉目标检测，视觉变化，视觉运动状态理解等等。比如说，关于分辨率和清晰度，经常还可以见到清晰度，分辨力，分辨率，解析力，解析度，解像力，解像度这些词语。对于这些词语分别的含义和所指的具体内容是什么，怎样使用才合适，目前流行的看法是很不统一的。图像进入系统在尝试实现计算机视觉系统时，需要考虑两个主要组件：图像采集硬件和图像处理软件。构建计算机视觉系统要满足的一个主要要求是测试其鲁棒性。实际上，系统应该能够适应环境变化（例如光源、

空间点像素索引（三）点与坐标轴点相互转换在 S2 算法中，默认划分 Cell 的等级是30，也就是说把一个正方形划分为 2^30 * 2^30个小的正方形。那么上一步的s，t映射到这个正方形上面来，对应该如何转换呢？s，t的值域是[0,1]，现在值域要扩大到[0,230-1]。// stToIJ converts value in ST coordinates to a value in IJcoordinates.func stToIJ(s float64) int {return c