学以致用 知行合一

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库。OpenCV库拥有超过 2500 种优化算法，其中包括一整套经典和最先进的计算机视觉和机器学习算法。 OpenCV主要分几个大模块：（1）核心功能，主要是Mat容器以及基本操作等。（2）图像处理模块。（3）GUI和视频处理等模块。（4）相机校准和 3D 重建（5）2D 特征框架（feature2d 模块） - 特征检测器、描述符和匹配框架...............

作为人类，我们可以轻松地感知周围世界的三维结构。想想当你看着坐在你旁边桌子上的花瓶时，三维感知是多么生动。您可以通过在其表面上播放的微妙的光影图案来分辨每个花瓣的形状和半透明度，并毫不费力地将每朵花从场景的背景中分割出来。计算机视觉领域的研究人员一直在同时开发用于恢复图像中物体的3D形状和外观的数学技术。在这方面，过去 20 年的进展非常迅速。我们现在拥有可靠的技术，可以从数千张部分重叠的照片中准确计算环境的3D模型。给定足够多的特定对象或立面视图集，我们可以使用立体匹配创建精确的密集......

《Python视觉深度学习系列教程》是由Adrian Rosebrock博士编写的分为Starter Bundle、Practitioner Bundle、ImageNet Bundle等三卷组成。作者自己说教程适用于希望精通计算机视觉和视觉识别深度学习的开发人员、研究人员和学生。教程主要是以实践为主，第一部分简单讲讲基础概念，然后是几个实例，以Keras为主，第二部分主要是神经网络的基础讲解等、第三部分主要是以一些典型的网络结构和一些实例展开，并提供了完整的代码。

案例1、使用opencv的DNN模块调用caffe的GoogLeNet图像分类模型案例2、使用Opencv的DNN模块调用Tensorflow的mobilenet对象检测模型案例3、基于tensorflow2.0的手写数字识别，并导出pb模型供OpenCV的C++版本的DNN模块调用案例4、基于OpenCV图像处理和手写数字识别进行数独求解案例5、自定义数据集 + 标准前馈神经网络分类进行训练案例6、自定义数据集 + 卷积神经网络分类进行训练案例7、使用Opencv的DNN模块调用Caffe的人

人工智能已经从识别数据中的简单模式跃升为理解复杂的多模态数据。该领域的发展之一是视觉语言模型（VLM）的兴起。这类模型将视觉和文本之间联系起来，改变了我们理解视觉数据并与之交互的方式。随着VLM的不断发展，它们正在为计算机视觉设定一个新的水平，能够以更有效且更像人类的方式理解和交互。从技术角度来看，VLM的出现是由于当前计算机视觉和语言模型的限制。传统的计算机视觉模型在寻找对象方面表现出色，但在理解情况、语义违规以及图像中对象的后果和连接方面存在很大困难。

单眼深度估计是一项计算机视觉任务，AI 模型从单个图像中预测场景的深度信息。模型估计场景中对象从一个照相机视点的距离。单目深度估计已广泛用于自动驾驶、机器人等领域。深度估计被认为是最困难的计算机视觉任务之一，因为它要求模型理解对象及其深度信息之间的复杂关系。但在估计场景的深度时，许多因素都会产生巨大干扰，比如光照条件、遮挡和纹理会极大地影响结果。深度估计是从 2D 图像中了解场景几何结构的关键步骤。单目深度估计的目标是预测每个像素的深度值。这称为推断深度信息，仅使用一个 RGB 输入图像。

项目需求，需要Ubuntu20.04系统 + OnnxRuntime中进行推理，前面的文章记录了驱动安装、CUDA安装等。Ubuntu20.04 更新Nvidia驱动 + 安装CUDA12.1 + cudnn8.9.7-优快云博客。

最近客户给了几台GPU服务器，长期放置落灰那种，然后想利用起来，所以上去看看了配置，系统是Ubuntu20.04，相关的驱动版本稍嫌老一些，所以需要更新Nvidia驱动，同时在安装CUDA和CUDNN，查看了显卡型号之后，打算使用onnxruntime进行推理，对比了版本，最后选择了CUDA12.1 + CUDNN8.9.7。

当我们必须处理大量数据集时，计算上非最优的函数可能会成为算法的巨大瓶颈，最终导致模型运行时间过长。为了确保代码计算效率高，我们将使用矢量化。任何算法执行的时间复杂度都非常重要，决定了应用程序是否可靠。在实时输出应用方面，尽可能在最佳时间内运行大型算法非常重要。为此，Python提供了一些标准数学函数，可以快速操作整个数据数组，而无需编写循环。包含此类函数的库之一是numpy。让我们看看如何在矢量化的情况下使用这个标准函数。矢量化用于加速 Python 代码，而无需使用循环。

光流是图像序列中像素的表观运动。为了估计光流，场景中物体的移动必须具有相应的亮度位移。这意味着一个图像中移动的红球在下一个图像中应该具有相同的亮度和颜色，这使我们能够确定它以像素为单位移动了多少。下图显示了光流示例，其中一系列图像捕获了逆时针旋转的吊扇。最右边的彩色图像包含从第 1 帧到第 2 帧每个像素的表观运动，它经过颜色编码，不同的颜色表示像素运动的不同水平和垂直方向。这是密集光流估计的示例。的估计为每个像素分配一个 2D 流向量，描述其在一段时间内的水平和垂直位移。在。

在许多计算机视觉应用中（例如机器人运动和医学成像），需要将来自多幅图像的相关信息集成到一幅图像中。这种图像融合将提供更高的可靠性、准确性和数据质量。多视图融合可以提高图像的分辨率，同时恢复场景的 3D 表示。多模态融合结合了来自不同传感器的图像，称为多传感器融合。其主要应用包括医学图像、监控和安全。

当说到语义分割时，首先会想到图像，因为它是识别给定图像中每个像素的概念。分割可以推广到高维空间，对于 3D 点云，它是为每个 3D 点分配一个类的概念。为了更好地理解这个问题由什么组成，我们应该很好地理解点云实际上是什么。每个类（杂乱的点除外）都有独特且一致的结构。例如，墙壁、地板和天花板是平坦且连续的平面；诸如椅子和书柜之类的东西也应该在许多不同区域具有相同的结构。我们希望我们的模型能够以一定程度的准确性识别不同类别的不同结构。我们需要构建一个损失函数来引导我们的模型以有用的方式学习这些结构。

ShapeNet 是一项持续不断的努力，旨在建立一个注释丰富的大型 3D 形状数据集。我们为世界各地的研究人员提供这些数据，以支持计算机图形学、计算机视觉、机器人技术和其他相关学科的研究。ShapeNet 是普林斯顿大学、斯坦福大学和 TTIC 研究人员的合作成果。ShapeNetShapeNet如果您使用Colab，则可以运行以下代码来获取数据，会下载很久。数据集包含 16 个带有类标识符的文件夹（在 README 中称为“synsetoffset”）。我们要进行Dataset的自定义。

T-net上一篇，我们大致了解了Point Net的原理，这里我们要进行一下实现。机器学习笔记 - 用于3D数据分类、分割的Point Net简述-优快云博客文章浏览阅读3次。在本文中，我们将了解Point Net，目前，处理图像数据的方法有很多。从传统的计算机视觉方法到使用卷积神经网络到Transformer方法，几乎任何 2D 图像应用都会有某种现有的方法。然而，当涉及到 3D 数据时，现成的工具和方法并不那么丰富。3D 空间中一个工具就是Point Net。

在本文中，我们将了解Point Net，目前，处理图像数据的方法有很多。从传统的计算机视觉方法到使用卷积神经网络到Transformer方法，几乎任何 2D 图像应用都会有某种现有的方法。然而，当涉及到 3D 数据时，现成的工具和方法并不那么丰富。3D 空间中一个工具就是Point Net。点网是一种新型的神经网络，直接使用整个点云。它可以对输入点云进行分类，执行语义分割，甚至部分分割。理解点网如何有效完成多项任务的关键在于，它能够提取点云的局部和全局特征， 而不管方向如何。

随着大型语言模型 (LLM) 的规模增加到数千亿，对这些模型进行微调成为一项挑战。传统上，要微调模型，我们需要更新所有模型参数。这也称为完全微调 (FFT)。下图详细概述了此方法的工作原理。完全微调FFT 的计算成本和资源需求很大，因为更新每个参数都需要大量的处理和内存。其次，使用像 FFT 这样的方法，存在灾难性遗忘的风险，即模型在过度学习新数据时会忘记以前学到的信息。于是为应对这一情况，出现了一系列称为参数高效微调 (PEFT)的方法。

大型文本到图像稳定扩散模型已经展示了前所未有的能力，可以使用文本提示合成新场景。这些文本到图像模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新实体产品的能力的限制。很多时候，用户被限制行使她的艺术自由来生成特定独特或新概念的图像。此外，使用新数据集为每个新概念重新训练模型非常困难且成本高昂。论文《提供了一种简单的方法来使得这种创作更自由。

Stable Diffusion在2022年8月开源，是由慕尼黑大学的CompVis研究团队开发的生成式人工神经网络。该项目由初创公司StabilityAI、CompVis和Runway合作开发，并得到了EleutherAI和LAION的支持。截至2022年10月，StabilityAI已筹集了1.01亿美元的资金。Stable-Diffusion-WebUI是一个能够在浏览器上运行的网页版，它是一个具有跨时代意义的产品，让普通用户能够真正体验到AI绘画的无限魅力。

屌丝劲发作了，所以本地调试了Stable Diffusion之后，就去看了一下Stable Diffusion WEB UI，网络上各种打包套件什么的好像很火，但实际上确实也没多麻烦，我们这里从大神的git源码直接开始。下载源码肯定是第一步的。直接运行Stable Diffusion的源码和预训练模型可以参考下面的链接。机器学习笔记 - 本地windows 11 + PyCharm运行stable diffusion流程简述-优快云博客文章浏览阅读46次。

硬件：本地电脑windows11、32.0 GB内存、2060的6G的卡。软件：本地有一个python环境，主要是torch 2.2.2+cu118。

这里是把PCL的点云格式转换成tiff格式的图片。

PIL 是 Python中的图像库之一，该库的Image模块提供了一个同名的类，用于表示 PIL 图像。该模块还提供了许多工厂函数，包括从文件加载图像和创建新图像的函数。Image.convert()返回此图像的转换副本。函数支持九种模式，分别为1，L，P，RGB，RGBA，CMYK，YCbCr，I，F。"L" - 灰度 每个像素由一个字节表示，范围为 0 到 255，代表黑色到白色。"RGB" - RGB颜色 每个像素由三个字节表示，分别代表红色、绿色和蓝色分量，每个分量范围为 0 到 255。

对训练集图像进行数据增强])])加载预训练模型首先，检查我们的硬件是否符合 PyTorch Data Parallel。如果符合我们就将模型传递给模块从而并行化我们的模型。我们使用训练数据加载器循环训练集。进入训练集循环后，我们首先启用混合精度并将输入（数据和标签）加载到 CUDA 设备。最后，让模型执行前向传递并使用损失函数计算损失。在评估过程中，我们将PyTorch切换到评估模式。然后，在训练步骤中，我们循环验证数据加载器并在将数据加载到 CUDA 设备之前启用混合精度。

在最近的研究中，出现了号称传统多层感知器 (MLP) 的突破性替代方案，重塑了人工神经网络 (ANN) 的格局。这种创新架构被称为柯尔莫哥洛夫-阿诺德网络 (KAN)，它提出了一种受柯尔莫哥洛夫-阿诺德表示定理启发的函数逼近的方法。与 MLP 不同，MLP 依赖于各个节点的固定激活函数，KAN 引入了边缘上的可学习激活函数，从根本上改变了神经网络的结构。这种独特的设计功能完全消除了线性权重矩阵，代之以可学习的一维样条函数。就是说KAN根本没有线性权重，每个权重参数都被参数化为样条函数的单变量函数所取代。

由于 PostgresML 本质上是一个数据库，因此您可以在任何支持 Postgres 的环境中（基本上在任何地方）与其进行交互。它引入了一种称为“数据库内”机器学习的新范式，允许您在 SQL 中执行许多 ML 任务，而无需在每个步骤中使用单独的工具。由于今天的数据库比机器学习模型大好多个数量级，所以PostgresML的思路是，如果我们将模型引入数据集不是会容易得多吗？不过天下没有免费的午餐，需要一路注册、安装该数据库，然后举个例子，可以使用 Kaggle 的Diamonds 数据集创建一个表。

Python中数据清理是重要的环节，并通过解决缺失值、离群值、重复和不一致等常见问题以进行下一步的数据分析。通常我们开始一个新的数据项目时，通因为各种各样的问题，通常获得的数据很少能直接上到模型里面去跑，所以要进行清理，清理数据是一个消除错误、异常值和不一致并确保所有数据采用适合我们分析的格式的过程。包含许多错误或未经过此数据清理过程的数据称为脏数据。比如下面的一个小数据集，虽然大家分数都不高，但是小李有两条重复的数据，如果我们计算分数列的平均值，那么这个数据是不准确的。

_getitem__是根据给定索引找到图像，进行处理，并继续找到对应目标检测的xml文件，读取解析里面的坐标信息等，并且最终返回图像和标签等信息。__init__函数里面定义了基本信息，我们可以看到有路径、图像宽高、分类信息、图像后缀等，主要的是所有图像的路径信息的集合。自定义 Dataset 类必须实现三个函数：__init__、__len__和__getitem__。下面的代码，是基于voc格式的目标检测的数据集编写的。__len__最简单，就是所有的图像的数量。初始化DataLoader。

在 scikit-learn 库中的一些算法里面，这里是指需要使用距离度量或相似度度量的算法，这里拿KNeighborsclassifier举例来说，会有metric参数，这个参数用于指定距离度量方法。当你使用自定义距离度量方法时，有时可能需要传递一些额外的参数给该方法，以便根据特定的需求定制距离计算的过程。除了使用这些内置的参数，我们还可以自定义距离度量方法，将一个可调用的函数传递给'metric'参数。参数可以使距离度量方法更加灵活和定制化，因为可以根据需要传递任意数量的额外参数给距离度量方法。

调试运行这个项目不是最终目的，主要是为了了解几点。第一、学习开发或测试类似可视化的进化学习的项目的一个流程。第二、神经网络+遗传算法+Unity的结合。第三、佩服一下这些有想法，有执行力的大神们。下一步就可以从参考别人的项目开始，弄一下自己觉得有意思的东西。

边缘检测是计算机视觉领域中一项非常重要的任务。这是许多纯计算机视觉任务（例如轮廓检测）的第一步。即使涉及深度学习，较深层也首先学习识别边缘，然后再学习图像的复杂特征。所以，我们可以说边缘检测在计算机视觉领域非常重要。拥有良好且高效的图像边缘检测算法同样重要。结构化森林进行边缘检测，也称为结构化边缘检测器。已经有许多有效的边缘检测器，例如Canny、Sobel 和 Laplacian 边缘检测器。他们为什么我们需要另一个结构化边缘检测器。这种检测器的主要特点是它能够快速且更好地预测局部掩模的边缘。

torch.hub 和 torchvision.models 都是 PyTorch 中用于加载模型的工具，但它们之间有很大差异。torchvision.models包含 PyTorch 官方支持的经典模型架构，例如 AlexNet、VGG、ResNet、MobileNet 等。这些模型经过充分测试和优化，文档完善，使用方便。而torch.hub用于加载来自 Torch Hub 平台的模型。

LLaMA(LargeLanguageModelMetaAI)是一个基础语言模型的集合，参数范围从 7B 到 65B，LLaMA并非专门为对话任务而设计的模型，而是专注于语言理解和生成。但是作为基础模型，LLaMA 被设计为多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。换句话说，你可以训练自己的基础模型，在这个基础上为其他任务(比如对话)继续进行微调。

BigDL是一个在Apache Spark上构建的分布式深度学习库，由英特尔开发并开源。它允许用户使用Scala或Python语言在大规模数据集上进行深度学习模型的训练和推理。BigDL提供了许多常见的深度学习模型和算法的实现，包括卷积神经网络（CNN）、循环神经网络（RNN）等。由于其在Apache Spark上运行，因此可以很好地与Spark的分布式计算框架集成，充分利用分布式计算资源进行模型训练和推理，从而加速深度学习任务的处理速度。

今天的文本到语音转换技术（TTS）的目标已经不仅仅是让机器说话，而是让它们听起来像不同年龄和性别的人类。通常，TTS 系统合成器的质量是从不同方面进行评估的，包括合成语音的清晰度、自然度和偏好，以及人类感知因素，例如可理解性。

​上下文编码器的工作是从区域编码器中获取详细的表示并将它们缝合在一起，确保在其他标记的上下文中考虑到其它标记。作为计算机视觉研究人员，在处理大图像时，避免不了受到硬件的限制，毕竟大图像已经不再罕见，手机的相机和绕地球运行的卫星上的相机可以拍摄如此超大的照片，遇到超大图像的时候，我们当前最好的模型和硬件都会达到极限。所以我们既想看到某颗具体的树木，也想看到整个森林，这就是这个框架被提出来的原因。该框架将这些巨大的图像按层次结构切成更小、更容易理解的部分，然后使用一些巧妙的技术，弄清楚这些部分之间的关系。

这里是使用的opencv进行图片的读取，自然也是想使用opencv的imshow方法来显示图像，但是在google Colab中不可以使用，所以寻找了一下变通的显示方法。

在本文中，我们将通过一些示例了解 Python 2.x 和 Python 3.x 之间的一些重要区别。

傅立叶变换将图像分解为其正弦和余弦分量。换句话说，它将图像从空间域变换到频率域。这个想法是任何函数都可以用无限正弦函数和余弦函数之和来精确近似。傅里叶变换是实现此目的的一种方法。网上有很多关于傅里叶变换的文章，这里就不进行赘述了，这里主要结合代码和公式，一步步实现图像从空域到频域的变换。

测距是计算机视觉中的一项关键任务，涉及测量物体和相机之间的距离。这些信息可用于多种应用，包括机器人、自动驾驶汽车和增强现实。测距技术有很多种，包括主动式和被动式，每种技术都有自己的优点和局限性。主动测距技术，例如飞行时间、结构光和激光三角测量，涉及将图案投影到物体上并测量图案返回相机所需的时间。被动测距技术，例如立体视觉、光度立体和阴影形状，依赖于使用从不同视点拍摄的多个图像来计算深度。主动测距技术包括将图案投影到物体上，并测量图案返回相机所需的时间。

语言模型、ChatGPT和人工智能似乎无处不在。了解大型语言模型（LLM）“背后”发生的事情将是驾驭数字世界的关键。首先在提示中键入一个单词，然后点击提交。您可以尝试新的提示，并根据需要多次重新生成响应。这个我们称之为“T&C”的语言模型是在一组被称为语料库的文本上训练的。该语料库是大型科技公司的条款和条件。语料库决定了语言模型的词汇以及它可以生成哪些单词。如果在测试过程中出现输入错误之类的提示，是因为你在提示中使用的单词在语料库中不存在。