知来者逆的博客

AnomalyCLIP 针对传统视觉语言模型在零样本异常检测（ZSAD）中的局限，通过三项关键创新突破挑战：采用对象无关的提示学习，以 “正常的对象”“损坏的对象” 等通用模板替代特定类别提示，摆脱对对象语义的依赖；引入对角突出注意力图（DPAM），通过值 - 值（V-V）注意力增强对细粒度异常的捕捉；利用全局 - 局部上下文优化，结合图像级分类损失与像素级分割损失，兼顾异常判断与定位。

本文介绍了一种基于深度学习的视频动作识别方法，使用Weismann数据集对7种人体动作（弯曲、开合跳、跳跃等）进行分类。该方法通过CNN提取视频帧的时空特征，构建序列模型进行分类。实施步骤包括：1)安装依赖项并整理数据集；2)创建标签和加载数据；3)构建CNN模型；4)分割训练集和验证集。该技术可应用于医疗监测、跌倒检测、安防监控等多个领域。实验结果显示，模型在3390个视频实例上实现了有效分类，训练集和验证集分别包含3051和339个样本。

MedSAM2 是医学影像分析领域的一项重大突破，通过深度学习和先进的图像处理技术，显著提升了医学影像分割的效率和准确性。它能够自动识别和分割医学影像中的各种结构，无论是复杂的器官还是微小的病变，极大地简化了传统手动分割的繁琐过程。MedSAM2 的核心优势在于其强大的自动化能力和实时处理能力，能够在几秒钟内完成对大量影像数据的分析，为临床决策提供即时支持。在实际应用中，MedSAM2 已广泛应用于肿瘤治疗、急诊室诊断等多个场景，帮助医生快速识别病变区域，制定精准的治疗方案。

YOLO11模型是专门为边缘设备优化的目标检测模型，与YOLOv8相比，它在显著降低模型复杂度（最多降低37%）的同时，仍保持了较高的检测精度（约85%的平均精度均值）。这种优化使得YOLO11能够在资源受限的树莓派上实现高效的实时目标检测，为边缘设备上的复杂计算机视觉任务提供了可能。其轻量级的模型结构和高效的推理性能，使其成为在树莓派上部署目标检测应用的首选模型之一。

传统的对象检测模型大多是封闭词汇类型，只能识别有限的固定类别。增加新的类别需要大量的注释数据。然而，现实世界中的物体类别几乎无穷无尽，这就需要能够检测未知类别的开放式词汇类型。对比学习（Contrastive Learning）使用成对的图像和语言数据，在这一挑战中备受关注。著名的模型包括 CLIP，但将其应用于物体检测，如在训练过程中处理未见类别，仍然是一个挑战。本文使用标准视觉转换器（ViT）建立了一个开放词汇对象检测模型——开放世界定位视觉转换器（OWL-ViT），只做了极少的修改。

目标检测已经取得了长足的发展，尤其是随着基于 Transformer 的模型的兴起。，由 Roboflow 开发，就是这样一种模型，它兼顾了速度和精度。使用 Roboflow 的工具可以让整个过程变得更加轻松。他们的平台涵盖了从上传和标注数据到以正确格式导出数据的全过程。这意味着你可以节省设置的时间，将更多的时间用于训练和改进模型。

俄罗斯的新研究提出了一种非常规方法，用于检测不真实的AI生成图像——不是通过提高大型视觉-语言模型（LVLMs）的准确性，而是故意利用它们的。这种新方法使用LVLMs提取图像的多个“原子事实”，然后应用（NLI），系统地衡量这些陈述之间的矛盾——有效地将模型的缺陷转化为检测违背常识的图像的诊断工具。WHOOPS!数据集中两张图片与LVLM模型自动生成的陈述。左侧图片是真实的，导致描述一致，而右侧不寻常的图片导致模型产生幻觉，产生矛盾或错误的陈述。

相机标定是一种旨在通过确定相机的内参（焦距、光学中心、畸变系数）和外参（相机的位置和方向），提高图像在现实世界中的几何精度的过程。该过程可以纠正相机拍摄的图像中的畸变，使相机能够准确感知现实世界中的距离、角度和物体。一个很好的例子是纠正鱼眼相机拍摄的图像。

今年2月，经过多年旨在利用机器学习技术开发一种更小、更易于传输和存储且不损失感知质量的图像编解码器的研究后，正式发布。来自JPEG AI官方发布流，峰值信噪比（PSNR）与JPEG AI的机器学习增强方法的对比。这一技术问世鲜有媒体报道的一个可能原因是，此次发布的核心PDF文件无法通过像Arxiv这样的免费访问平台获取。尽管如此，Arxiv此前已经发表了多项研究，探讨了JPEG AI在多个方面的重要意义，包括该方法不常见的及其对图像鉴伪的。

自2023年在线广告行业估计花费了7403亿美元以来，很容易理解为什么广告公司会投入大量资源进行这一特定领域的计算机视觉研究。尽管这个行业通常较为封闭和保守，但偶尔也会在arxiv等公共存储库中发布一些研究，这些研究暗示了更先进的专有工作，涉及面部和眼神识别——包括年龄识别，这是人口统计分析的核心内容：这些研究很少出现在公共存储库中，它们以合法招募的参与者为基础，通过人工智能驱动的分析来确定观众在多大程度以及以何种方式与广告互动。在这方面，广告行业自然对确定误报（分析系统错误解读受试者行为的情况）感兴趣，并

正确的身体姿势是个人整体健康的关键。然而，保持正确的身体姿势可能会很困难，因为我们常常会忘记。本博客文章将逐步指导您构建一个解决方案。最近，我们使用 MediaPipe POSE 进行身体姿势检测，效果非常好！

2019 年，美国众议院议长南希·佩洛西成为了一次针对性的、技术含量相对较低的“深度伪造”式攻击的目标。真实的佩洛西视频被编辑，让她看起来像是喝醉了酒。这一不真实的事件在真相大白之前被分享了数百万次，而且在一些人没有关注后续报道的情况下，可能已经对她的政治资本造成了不可挽回的损害。尽管这种误导性的视频只需要进行一些简单的音视频编辑，而不是使用任何人工智能技术，但它仍然是一个关键的例子，展示了对真实音视频输出进行细微改动可能产生的毁灭性影响。

图像金字塔是一种多分辨率的图像表示方式，它通过构建一个包含不同分辨率图像的层次结构来表示原始图像。图像金字塔的每一层都是原始图像的一个下采样版本，从最高分辨率的图像（位于金字塔顶部）到最低分辨率的图像（位于金字塔底部）。这种多分辨率表示方法在图像处理和计算机视觉中具有广泛的应用，例如目标检测、图像融合和特征提取等。边缘检测是图像处理和计算机视觉中的一个重要任务，其目标是识别图像中的突然变化（不连续性）。边缘通常对应于物体的轮廓、纹理的变化或光照的变化。

IoU（交并比）不仅可以衡量预测边界框与真实框的匹配程度，还可以作为阈值来决定是否接受一个预测。在目标检测领域，IoU 阈值的设定是评估模型性能的关键因素之一。具体来说，当 IoU 阈值被指定为IoU@0.5时，这意味着只有当预测框与真实框的 IoU 大于或等于 0.5（即 50%）时，该预测框才被视为正确匹配。换句话说，如果预测框与真实框的重叠面积不足 50%，则认为该预测是不准确的，从而被舍弃。

在目标检测领域，有一个指标被广泛认为是衡量模型性能的“黄金标准”，它就是。如果你曾经接触过目标检测模型（如 YOLO、Faster R-CNN 或 SSD），那么你一定听说过 mAP。但你是否真正理解 mAP 背后的含义？为什么研究人员如此信赖它？mAP@0.5 和 mAP@0.95 又有什么区别？本文将为你揭开 mAP 的神秘面纱。

GoogLeNet在2014年的ImageNet Large Scale Visual Recognition Challenge (LSVRC)中获得了冠军。GoogLeNet的设计灵感来源于NiN（Network in Network），通过使用多个小的网络模块串联成更大的网络。这些小的网络模块被称为Inception模块，它们能够并行地从不同尺度提取特征，然后将这些特征合并起来，以提高网络的准确性和性能。

本文介绍了深度学习中常见的多种卷积类型，包括它们的定义、工作原理、优缺点以及应用场景。通过这些介绍，希望能帮助读者更好地理解卷积在深度学习中的作用，以及如何根据具体需求选择合适的卷积类型。

EfficientNet（CNN 架构）：不擅长捕捉超出像素信息的语义。：比 CNN 更好，但仍然专注于像素信息而不是图像的含义。DINO-v2：可以捕捉图像的语义，并且倾向于专注于前景物体。CLIP：可以捕捉语义，但有时可能会受到可以从图像中读取的语言信息的强烈影响。BLIP-2：可以捕捉语义，是其他模型中最优越的结果。综上所述，在进行图像相似性搜索时，应该优先选择 DINO-v2 或 BLIP-2 以获得更好的结果。如果专注于图像中的物体，应该使用 DINO-v2。

卷积神经网络（Convolutional Neural Networks，简称 CNNs）是一种深度学习架构，专门用于处理具有网格结构的数据，如图像、视频等。它们在计算机视觉领域取得了巨大成功，成为图像分类、目标检测、图像分割等任务的核心技术。CNNs 的核心思想是利用卷积操作（convolution）来提取数据中的局部特征，并通过层次化的结构逐步学习更复杂的模式。

以色列和日本的一项新的合作研究认为，行人检测系统存在固有弱点，这使得消息灵通的人能够通过精心规划路线，穿过监控网络效果最差的区域，从而避开人脸识别系统。借助来自东京、纽约和旧金山的，研究人员开发出了一种自动计算此类路线的方法，该方法基于公共网络中可能使用的最流行的物体识别系统。研究中使用的三个十字路口：日本东京的涩谷十字路口、纽约的百老汇和旧金山的卡斯特罗区。

近年来，多模态学习的进步使人们越来越关注理解和生成视频的模型。这导致了对具有高分辨率视频和详细说明的高质量视频文本数据集的需求激增。然而，由于视频中增加了时间成分，因此获取和注释视频-文本对要比获取和注释图像-文本对更加困难。例如，旅游视频博客包含许多事件，每个事件由不同的场景组成，如准备旅行或参观目的地。视频字幕需要花费大量的时间和精力来查看整个视频并标注细节。因此，传统的视频文本数据集通常只包含简短粗糙的描述。

广角镜头在VR技术等领域有着诱人的应用，但它会使拍摄的图像产生严重的径向畸变。为了还原真实场景，以往的工作致力于校正广角图像的内容。然而，这种校正方法不可避免地会扭曲图像边界，改变相关的几何分布，并误导当前的视觉感知模型。在这项工作中，我们通过提出一种新的学习模型，即矩形校正网络（RecRecNet），探索在内容和边界上构建一种双赢的表示。

在这篇评论文章中，我们将高精度前景提取（背景去除）建模为一个多视角物体识别问题，提供了一个高效、简单的多视角聚合网络。这样做的目的是更好地平衡模型设计、准确性和推理速度。为解决多视图的目标对准问题，提出了多视图完成定位模块，以联合计算目标的共同关注区域。此外，提出的多视图完成细化模块被嵌入到每个解码器块中，以充分整合互补的本地信息，减少单视图补丁中语义的缺失。这样，只需一个卷积层就能实现最终的视图细化。广泛的实验表明，所提出的方法性能良好。

3D LiDAR目标检测是一种在三维空间中识别和定位感兴趣目标的技术。在自动驾驶系统和先进的空间分析中，目标检测方法的不断演进至关重要。3D LiDAR目标检测作为一种变革性的技术，在环境感知方面提供了前所未有的准确性和深度信息.在这里，我们将深入探讨使用关键点特征金字塔网络（K-FPN）结合KITTI 360 Vision数据集，融合RGB相机和3D LiDAR数据，实现自动驾驶的详细过程和训练方法。

为了深入探究图像相似性，这里决定采用多种先进的人工智能模型进行分析。这些模型包括视觉变换器（ViT）、对比语言-图像预训练模型（CLIP）、基于双向编码器表示的图像描述模型（BLIP）、高效网络（EfficientNet）、DINO-v2以及经典的卷积神经网络VGG16。通过这些模型，能够从不同角度和层面捕捉到图像之间的相似之处。例如，视觉变换器（ViT）通过将图像分割成多个小块，并利用自注意力机制来分析这些图像块之间的关系，从而揭示出图像的内在相似性；

在人工智能领域，CLIP和DINOv2是计算机视觉领域的两大巨头。CLIP彻底改变了图像理解，而DINOv2为自监督学习带来了新的方法。在本文中，我们将踏上一段旅程，揭示定义CLIP和DINOv2的优势和微妙之处。我们的目标是发现这些模型中哪一个在图像相似性任务的世界中真正表现出色。让我们见证巨头的碰撞，看看哪个模型会脱颖而出。

安卓NDK开发，基于深度学习与OpenCV实现文档拍照扫描，实现边缘检测与边缘校正，可使用GPU进行推理，速度和精度都到商用级别。

基于分割的文本检测方法对分割结果的概率图进行二值化后处理，然后来提取文本区域，可以检测任意形状的文本区域。但基于分割的文本检测算法一般都需要复杂的后处理，影响推理的性能。上图中，蓝色的路径表示传统的基于分割的文本检测，完整流程包括得到分割概率图，使用阈值二值化，然后通过像素聚类等手段得到最终的文本检测结果，红色路径是作者提出的新的方法，同时输出分割概率图和进行二值化使用的阈值图，之后，其中虚线表示操作只发生在预测阶段，实线表示在训练和预测阶段都会发生。

位置敏感的分数图可以被视为原型掩码，但 IntanceFCN 和 FCIS 使用一组固定的空间池操作来组合位置敏感的原型掩码，而不是学习线性系数。（Bottom-up Object Detection by Grouping Extreme and Center Points，CVPR 2019）通过使用四个极值点（因此是一个具有8个自由度的边界框而不是传统的4个DoF）进行检测，并且这种更丰富的参数化可以自然地扩展通过在其对应边缘上的两个方向上的极值点延伸到整个边缘长度的 1/4 的一段，到八边形掩模。

大规模预训练以及随后针对特定任务的语言建模微调取得了显著成功，已将这种方法确立为标准做法。同样， 计算机视觉方法正逐步采用大规模数据进行预训练。LAION5B、Instagram-3.5B、JFT-300M、LVD142M、Visual Genome 和 YFCC100M 等大型数据集的出现使得人们能够探索远远超出传统基准范围的数据语料库。该领域的突出工作包括 DINOv2、MAWS 和 AIM。

害虫分类是农业中的一个重要问题。准确识别有害害虫可减少对作物的损害，确保粮食安全和环境的可持续发展。然而，害虫及其自然环境的高度拟态性和物种多样性使得视觉特征的提取极具挑战性。现有方法很难提取出区分近缘害虫物种所需的细节特征。即使采用了最先进的深度学习方法，由于害虫与背景之间存在很大的相似性，挑战依然存在。在此背景下，亟需开发更有效的害虫分类模型。

融合地图并不是人工智能的一种，它是人工智能创建的加权地图，是人工智能使用的类似工具的实体，如 IFNet。融合图的作用是确定像素的融合程度。它提供了权重信息，说明在对每个像素进行扭曲处理后，应从帧（扭曲帧 A 或扭曲帧 B）中提取多少信息。确定每个像素的权重，例如，一个像素的 70% 来自翘曲帧 A，30% 来自翘曲帧 B。这些权重信息用于融合两个帧并生成中间帧。融合制图是一种将不同来源的数据融合在一起以创建新图像的方法。'它将不同来源的数据结合起来，创造出新的图像。

过去几年，人工智能领域在文本处理的基础人工智能方面取得了显著进步，这些进步改变了从客户服务到法律分析等各个行业。然而，在图像处理方面，我们才刚刚开始。视觉数据的复杂性以及训练模型以准确解释和分析图像的挑战带来了重大障碍。随着研究人员继续探索图像和视频的基础人工智能，人工智能图像处理的未来有望为医疗保健、自动驾驶汽车等领域带来创新。对象分割是计算机视觉中的一项关键任务，它涉及精确定位图像中与感兴趣对象相对应的像素。传统上，这涉及创建专门的 AI 模型，这需要广泛的基础设施和大量带注释的数据。

图片裁剪的目的是自动挖掘图片中最具美观的视图，广泛应用于图片美学构图，例如缩略 图生成[1]、摄影辅助[2]和肖像推荐[3]等。其中，图片缩略图或封面裁剪是新兴的 User Generated Content (UGC) 领域的重要应用。如上图公众号业务所示，需要将原图裁剪为一个 3:4 的尺寸图片作为文章封面展示。而封 面图的美观与完整性决定了用户是否愿意点击进入文章阅读，并直接影响文章或帖子的点击 率。同时，图片裁剪的输出尺寸(如 1:1，16:9，3:4 等)会随着业务的更替变化而进行切换。

现在有一大堆点，然后你要找出一个可以围住这些点且面积最小的凸多边形，这个凸多边形称为凸包。显而易见，如果要面积最小，那凸包的顶点势必得是这一大堆点的几个点，你也可以想成是用一条橡皮筋把这些点圈起来。先把各个点按坐标从小到大排序，坐标相同则再按坐标从小到大排序，排序之后的点顺序会是由左至右、由下至上，这样一来我们就可以按这个顺序遍历这些点，这种往固定方向扫描的方式，称为扫描线。先讨论一件事情：有一个凸多边形，它的顶点已经按逆时针顺序排好了，依次是p1​p2​...pn​，那么pi。

用一个带有小孔的板遮挡在墙体与物之间，墙体上就会形成物的倒影，我们把这样的现象叫小孔成像。用一个带有小孔的板遮挡在墙体与物之间，墙体上就会形成物的倒影，我们把这样的现象叫小孔成像。前后移动中间的板，墙体上像的大小也会随之发生变化，这种现象说明了光沿直线传播的性质。在照相机被发明之前，人们就已经开始利用“小孔成像”原理制造各类光学成像装置，这种装置被称为“Camera obscura（暗箱）”。

最近看到一个叫单目深度估计模型火了，于是抽空把代码和模型下载下来体验了一下，发现确实是很强大。论文链接：https://arxiv.org/pdf/2401.10891.pdf代码链接：https://github.com/LiheYoung/Depth-Anything项目主页: https://depth-anything.github.io/本文只记录如何使用官方代码跑demo，以及如何导出onnx模型并用做部署。

七种表情识别是一个多学科交叉的研究领域，它结合了心理学、认知科学、计算机视觉和机器学习等学科的知识和技术。

本研究引入了Depth Anything模型，该模型在稳健的单目深度估计方面展现了高度实用性。通过强调廉价且多样化的未标记图像的价值，并采用两种有效策略，即在学习未标记图像时设定更具挑战性的优化目标以及保留预训练模型的丰富语义先验，使得该模型在零样本深度估计方面表现出色。此外，该模型还可作为有望初始化下游度量深度估计和语义分割任务的有效工具。

SAM 是一种先进的人工智能模型，已经证明了在分割复杂和多样化图像方面具有优异的表现。该模型是计算机视觉和图像分割领域的一个重大突破。SAM 的架构旨在处理各种图像分割任务，包括对象检测、实例分割和全景分割。这意味着该模型可以应用于各种用例，从医学图像分析到自主驾驶。SAM 的独特之处之一是它具有执行全景分割的能力，这涉及将实例分割和语义分割相结合。实例分割涉及识别和划分图像内每个物体实例，而语义分割涉及为图像中的每个像素标记相应的类别标签。全景分割将这两种方法结合起来，以提供对图像更全面的理解。