brucexia的专栏

上一节完成了视频数据集的准备，为接下来的实战打下了坚实的基础。本节中，我们将进一步探索，设计一种基于注意力架构的视频分类实战方案，并借助上一节自定义的数据准备形式，对视频进行精准分类。在具体实现上，对于注意力模型而言，关键的一步在于如何将原始视频数据转换成一种模型能够高效处理的嵌入表示。这种嵌入表示不仅需要捕捉视频中的时序信息，还要能够突出关键帧和特征，以供注意力机制进行选择和聚焦。为了达到这一目的，我们采用先进的深度学习技术，结合视频数据的特性来构建专门的嵌入层。

相对于只能完成普通文本任务的大模型，DeepSeek一个激动人心的功能是可以自主调用外部工具函数，以自主意识的形式借用工具，完成使用者发布的命令。这意味着DeepSeek不再仅仅是一个被动的执行者，而是成为了一个具有主动性的智能助手。DeepSeek的Function calling功能是一项具有划时代意义的进步。这一功能的实现，使得DeepSeek不仅仅局限于自身数据库知识的回答，而是跃进到了一个全新的层次—调用外部函数，其调用流程如图7-7所示。

图像特征token作为图文多模态特征之一，在视觉与语言的联合表示学习中扮演着至关重要的角色。它们能够有效地捕捉图像的局部细节和全局信息，为跨模态检索、视觉问答以及图像描述生成等任务提供了丰富的特征支持。在图像特征token的研究中，我们不断探索如何更有效地提取、表示和利用这些特征。从最初的底层视觉特征，如边缘、纹理和颜色，到后来的高层语义特征，如物体、场景和动作，图像特征token的表达能力逐渐增强，为模型提供了更丰富和更准确的输入信息。

无论是刚开始学习OpenCV，还是使用OpenCV进行开发调试，都可以看到waitKey函数的身影，然而最基础的往往容易忽略，在此可以好好了解一下这个基础又常用的waitKey函数。该函数延时一段时间，返回按键的值。其中，参数delay是延时的时间，单位是ms，默认是0，表示永久等待。第二次显示的窗口，waitKey的参数是5000，即5s，如果5s内不去按键，就会自动返回。总之，waitKey函数是非常简单而且常用的函数，开始入门的时候需要掌握好它，开发调试的时候waitKey函数同样是一个好帮手。

在OpenCV中，也存在鼠标的操作，比如左键单击、双击等。对于用户来讲，操作鼠标就是一个鼠标操作；对于OpenCV来讲，则认为是发生了一个鼠标事件，需要对这个鼠标数据进行处理，这就是事件的响应。现在我们来介绍一下鼠标中的操作事件。鼠标事件包括左键按下、左键松开、左键双击、鼠标移动等。当鼠标事件发生时，OpenCV会把让一个鼠标响应函数自动被调用，相当于一个回调函数，这个回调函数就是鼠标事件处理函数。

我们使用新架构的模型完成情感分类，可以看到，使用注意力机制可以很好地对特征进行抽取从而完成二分类的情感分类任务。然而使用自注意力的模型并不仅限于此，除了经典的分类任务外，我们还可以使用增加了旋转位置编码RoPE的模型来完成文本生成。

计算机系统中语音向量的存储是一件相当复杂的工作，它不仅耗费巨大的存储空间，而且对数据的处理速度和质量提出了严苛的要求。语音信号以其高维度的特性和丰富的动态变化，使得传统的数据存储方法难以应对。为了有效地存储和管理这些语音向量，我们需要采用一系列先进的技术手段。首先，数据压缩技术是降低语音向量存储空间需求的关键。通过利用语音信号中的冗余信息和人类听觉系统的特性，我们可以采用无损或有损压缩算法，显著减少存储所需的数据量。

在OpenCV中，销毁窗口时窗口会自动关闭，可以通过函数destroyWindow和destroyAllWindows来实现，前者是销毁某一个指定名称的窗口，后者是销毁所有新建的窗口。在上述代码中，我们在for循环中读取图片文件，然后新建窗口，并在窗口中显示图片5秒钟后销毁窗口。在上述代码中，首先读入一幅图片，然后新建一个窗口显示图片，接着调用函数resizeWindow调整窗口大小，由于namedWindow的第二个参数是WINDOW_NORMAL，因此图片大小会随着窗口大小的变换而变化。

对于VQ-VAE的应用，其核心功能在于能够将原本连续的图像数据转化为离散的token表示。这一过程不仅实现了图像的高效压缩与编码，还为后续的图像处理和分析提供了新的视角。通过这些离散的token，我们可以更灵活地处理和操作图像数据，例如进行图像的检索、分类、编辑等任务。具体来说，VQ-VAE通过学习一个离散的潜在空间来表示图像，这个空间由一系列预定义的token（或称为码字）构成。在训练过程中，VQ-VAE会将输入图像编码到这个离散空间中，选择最接近的token来表示图像的局部特征。

在上述代码中，首先读取了3幅图片，并各自返回了二维矩阵数组，这3幅图片在工程目录下可以找到，为了节省篇幅，这里不对是否读取成功进行判断，但一线企业开发则不能少这个判断。随后，把3幅图片的矩阵数组传入hstack函数中进行合并，并返回合并后的矩阵数组，然后通过imshow显示出来。输出是(4,2)，shape[0]表示行数，这里是4行，shape[1]表示列数，这里是2列。输出是(4,)，4就是一维矩阵的长度，因为不存在二维，也就没有二维的长度，因此括号里的逗号后面是空的。运行工程，结果如图3-7所示。

在上一章中，我们深入探讨了多种语音识别融合技术及其实现方法。具体而言，我们通过压缩相加以及拼接的策略，有效地融合了语音与文本特征。但是需要注意，在特征处理层面，我们直接对语音特征做了操作，而并未引入压缩机制。本节将采纳前述的AvgPool技术，对语音特征向量进行压缩处理。这一步骤至关重要，因为它能够在保留关键信息的同时，降低特征维度，从而提升模型的运算效率与准确性。此外，我们还将探索一种全新的语音识别方法—自编码语音识别。自编码器以其独特的无监督学习机制，在特征学习与表示方面展现出卓越性能。

其中，参数winname表示新建的窗口名称，自己随便取；（3）如果图像数据类型是32F（32位浮点数）或64F（64位浮点数），那么imshow函数内部会自动将每个像素值乘以255并显示，即将原图像素值的范围由[0~1]映射到[0~255]（注意：原图像素值必须归一化）。其中，参数delay表示一个延时值，单位为ms，默认为0，永久延时，一直等待，直到用户按键。其中，参数winname表示显示的窗口名，可以使用namedWindow函数创建窗口，如果不创建，imshow函数将自动创建；

语音识别这一技术正如其名，是通过精密地解析说话人的语音来识别并准确转写出其所说的内容。它不仅仅是一个简单的转录过程，更是一项融合了声学、语言学、计算机科学等多个学科领域精华的高科技产物。在现代社会中，随着人工智能技术的飞速发展，语音识别技术正日益显现出其巨大的应用潜力和广阔的市场前景。无论是在智能手机上的语音助手，还是在家庭中的智能音箱，甚至是在车载系统中，语音识别技术都扮演着举足轻重的角色。它能够将人们的口头语言迅速转化为文字信息，从而极大地提高了交互的便捷性和效率。

保存图片时，要保存为png格式的图片，因为png或tiff格式的文件即为BGRA四通道色彩空间的图像文件形式。另外，保存图片时，imwrite 的第三个参数是[cv2.IMWRITE_PNG_ COMPRESSION, 9]，它实现了图片压缩功能，其中9代表图片保存时的压缩程度，有0~9这个范围的10个等级，数字越大表示压缩程度越高。（4）PSD：这是Photoshop图像处理软件的专用文件格式，文件扩展名是.psd，可以支持图层、通道、蒙板和不同色彩模式的各种图像特征，是一种非压缩的原始文件保存格式。

要处理图像，第一步就是把图像文件从磁盘上读取到内存，处理完毕后再保存到内存，所以我们先来看一下图像文件读取与保存模块imgproc。imgproc提供了一系列全局函数，用于读取或保存图像文件。

图像问答，作为一种基本的多模态模型形式，融合了视觉与语言处理的技术精髓。它不仅能够理解图像的视觉内容，还能根据用户提出的问题，准确地从图像中提取相关信息，并最终以自然语言的形式给出回答。这种模型的出现，极大地丰富了人机交互的方式，使得机器能够更自然地理解和回应人类的问题。在图像问答系统中，多模态模型的运用至关重要。该模型能够同时处理图像和语言两种不同模态的数据，通过深度学习算法挖掘它们之间的内在联系。当用户提出一个问题时，系统首先会分析问题的语义，明确用户想要了解的信息点；

微调（Fine-tuning）是深度学习领域的一个重要概念，主要针对预训练模型进行进一步的调整，以适应新的特定任务，如图8-5所示。下面将详细讲解微调的概念、应用及其实现过程。

将VAE表示投影到少量维度（通常少于10）。每个维度被量化为一组固定的值，由这些数值集合的乘积给出（隐式的）码本（codebook）。图13-6 FSQ与VQ算法对于具体训练，FSQ在使用重构损失训练的自动编码器中，我们获得了对编码器的梯度，这迫使模型将信息分散到多个quantization bins中，因为这减少了重构损失。最终结果是，我们获得了一个使用所有码字的量化器，而不需要任何辅助损失。尽管FSQ的设计要简单得多，但本文在图像生成、多模态生成、深度估计等任务中获得了有竞争力的结果。

在本节中，我们将踏入广告文案撰写的实战领地。在此之前，我们已经深入探讨了DeepSeek-VL2微调技术中所采纳的LoRA方法，以及与之紧密相关的库包PEFT。这些尖端工具与技术，为我们的文案创作提供了强大的支持，使我们能更精准地捕捉目标受众的心理与需求。在数字化浪潮汹涌的今天，如何运用这些科技利器，打造出既富有创意又极具针对性的广告文案，将是我们探索的重点。接下来，我们将携手LoRA与PEFT，开启广告文案撰写的新篇章，书写属于DeepSeek-VL2的精彩故事。

OpenCV软件已经发展得比较庞大了，它针对不同的应用划分了不同的模块，每个模块专注于相应的功能。calib3d：这个模块名称是由calibration（校准）和3D这两个单词的缩写组合而成的，通过名称我们可以知道，模块主要包含相机标定与立体视觉等功能，例如物体位姿估计、三维重建、摄像头标定等。imgproc：这个模块名称是由image（图像）和process（处理）两个单词的缩写组合而成的，是重要的图像处理模块，主要包括图像滤波、几何变换、直方图、特征检测与目标检测等。

安装Python相关功能包需要用到pip，它是一个通用的Python包管理工具，提供了对Python包的查找、下载、安装、卸载的功能。其中，imread函数用来读取图片，由于imread不支持中文文件名，我们通过np.fromfile来读取山水.jpg，fromfile可以支持中文文件名，这个函数用法后面章节会详细讲到，这里只要了解即可。至此，基于Python的命令行OpenCV开发环境建立起来了，下面开始我们用Python开发的第一个OpenCV程序。运行该命令后稍等片刻，下载安装完成，如图2-7所示。

DeepSeek-VL2是一款引人注目的MoE（Mixture-of-Experts）大语言模型，由于MoE的设计与使用，使得此模型在推断时极大提升了计算效率。通过创新的MLA机制，该模型不仅降低了计算复杂度，还显著减少了显存占用，同时结合强化学习技术，使其在各种基准测试中表现卓越，特别是在中文和代码生成任务上成绩斐然。DeepSeek-VL2的应用前景广阔，无论是在自然语言处理、文本生成，还是机器翻译、智能问答等领域，都能提供高效且准确的解决方案。

随着信息技术的不断发展，如何让机器识别人类情绪，这个问题受到了学术界和工业界的广泛关注。目前，情绪识别有两种方式，一种是检测生理信号，如呼吸、心率和体温等；另一种是检测情感行为，如人脸微表情识别、语音情绪识别和姿态识别。语音情绪识别（Speech Emotion Recognition，SER）是一种生物特征属性的识别方法，可通过一段语音的声学特征（与语音内容和语种无关）来识别说话人的情绪状态。语音情绪示例如图6-3所示。图6-3 语音情绪示例。

‌：DeepSeek从‌。

DeepSeek具备处理多模态数据的能力，以下是相关技术要点和实现方式。

例如，可以通过滚动循环的方式，从起始符开始，不断将已预测的内容与下一个字符的预测结果进行黏合，逐步生成并展示整段文字。在模型主体部分，我们采用的是与拼音汉字转换模型相同的主体结构，这也是经典的生成模型架构，其目标是根据输入的前一个（一般是多个）Token输出下一个Token，也就是next token预测。特别需要注意，对于输出结果来说，当使用经过训练的Mamba模型进行下一个真实文本预测时，相对于我们之前学习的编码器文本输出格式，输出的内容可能并没有相互关联，如图8-3所示。以输入“你好人工智能!

此外，V-MoE框架还允许研究者根据实际应用需求，灵活调整专家的数量和类型，以及专家间的连接方式，这为探索更加高效和定制化的视觉模型提供了新的视角。例如，在大型语言模型的成功启发下，V-MoE可以尝试引入大规模专家库，结合自注意力机制和MoE的优势，推动图像理解和生成任务的边界。此外，V-MoE还具备更强的泛化能力，能够更好地适应不同的图像场景和识别需求。V-MoE的设计不仅优化了计算资源的分配，减少了不必要的计算开销，还通过引入专家间的多样性和互补性，增强了模型处理复杂视觉任务的能力。

对于连续信号，确定其状态表示往往颇具挑战性。幸运的是，在实际应用中，我们通常处理的是离散输入（例如文本序列），这使得问题变得相对简单。因此，我们倾向于将模型进行离散化处理，以便更好地适应这种输入类型。在这个过程中，零阶保持技术（zero-order hold technique）发挥着关键作用。其工作原理大致如下：每当系统接收到一个离散信号时，该技术会记录下这个信号的值，并将其保持不变，直到下一个离散信号的到来。这种处理方式有效地将离散的信号点转换为连续的信号段，为SSM提供了可用的连续信号输入。

而MLA则通过低秩压缩技术（可以理解为将高维矩阵压缩为若干个低维矩阵的乘积），进一步降低了KV缓存的需求，在保持高效推理的同时，也确保了输出质量的卓越。在MHA中，Q（查询）、K（键）、V（值）会依据每个head进行不同的变换，这意味着每个head都有其独特的感知领域和参数集，能够学习输入数据中的不同特征。在MQA中，仅有Q矩阵保留了多头的特性，即每个head仍有不同的变换。传统的注意力机制已是大有可为，它通过更改架构设计多个独立的注意力头，从不同维度捕捉输入数据的关键信息，极大地提升了模型的表达能力。

在这个过程中，模型作为编码器，能够分别对序列中的个体以及整体进行编码。其次是拼音编号，这里使用的是汉语拼音，与真实的拼音标注不同的是，去除了拼音原始标注，使用数字1、2、3、4替代，分别代表当前读音的第一声到第四声，这点请读者注意。在这里，我们使用Mamba架构的编码器完成模型的设计，在具体使用时，可以采用在第5章设计完成的Mamba模型进行模型的整理。首先进行数据集的准备和处理，在前面注意力章节的讲解中，我们已经遇到了拼音汉字数据集，本节将详细介绍这个数据集及其具体的处理方法。

通过优化路由器网络的设计，MoE 可以在保持计算效率的同时，最大化地利用各个专家的专长，从而提升整体模型的性能。在上面的代码实现中，针对专家的负载均衡，我们使用了TopkRouter进行设置，这是一种对路由器进行负载平衡的方法，其使用了一个简单的扩展策略，称为 KeepTopK。在上一节中，我们已经对混合专家模型（MoE）做了详尽的介绍。选择单个专家可以提升我们在计算时的速度，而选择多个专家时可以对各个专家的贡献进行加权，并将其整合起来，从而提高一定的准确性，至于选择哪种方式还需要在实际中进行权衡和处理。

在前面的工作中，我们已经成功设计并实现了混合专家模型（MoE）的程序代码，更进一步地，我们利用这个独立且完整的MoE模型完成了情感分类的实战演练。而不同的专家在混合专家模型（MoE）中选择关注的token各不相同，这种差异性使得随着输入文本的变化，模型会动态地选择不同的“路径”进行处理。在上一节中，我们已经对MoE模型做了详细的阐述，尽管可以将专家模型理解为被分解的密集模型的隐藏层，但事实上这些专家模型本身往往就是功能完备的前馈神经网络（FFNN）。更重要的是，这种动态选择关注点的特性，正是我们所期望的。

状态空间模型（SSM）是一种功能强大的统计工具，旨在精准地描述和预测随时间演进的复杂系统的动态状态。通过将状态空间模型的核心思想与深度学习技术相结合，开创了一种前沿的神经网络架构，这一架构不仅继承了Transformer的高效并行训练能力，同时维持了RNN的线性推理速度，从而在性能上实现了质的飞跃。状态空间模型是用于描述这些状态表示并根据某些输入预测其下一个状态可能是什么的模型。在时间t的状态下：输入序列xt)：例如，在迷宫中向左和向下移动。到潜在状态的表示ht)：例如，距离出口的。

本节完成使用多种ticket的VisionMamba图像分类实战，首先我们将完成含有位置表示的双向VisionMamba模型构建。在模型训练过程中，我们将使用适当的损失函数和优化器来最小化预测误差，并通过多次迭代来优化模型参数。为了防止过拟合，我们还会采用一些正则化技术，如Dropout和权重衰减。训练完成后，我们将对Mamba模型进行评估，通过计算分类准确率、召回率等指标来衡量其性能。此外，我们还会使用混淆矩阵来可视化模型的分类结果，以便更直观地了解模型在各类别上的表现。

混合专家模型（Mixture of Experts，MoE）是一种深度学习架构，它通过集成多个专家模型（即子模型）来提升整体模型的预测性能和效率。这种架构主要由两部分组成：门控网络（路由器机制）和多个专家网络。每个专家网络专门处理输入数据的一个子集或特定特征，而门控网络则负责根据输入动态地选择合适的专家模型进行处理，他们之间使用专门的负载平衡与优化对资源进行调配。MoE模型的优势包括提高模型的灵活性、性能以及计算资源的高效利用，尤其在处理复杂或多样化任务时表现突出。

本书共分20章，主要内容包括计算机视觉概述、OpenCV的Python开发环境搭建、OpenCV基本操作、数组矩阵、图像处理模块、灰度变换和直方图修正、图像平滑、几何变换、图像边缘检测、图像分割、图像金字塔、图像形态学、视频处理，以及停车场车牌识别、目标检测、数字水印、图像加解密、物体计数、图像轮廓、手势识别等案例。朱文伟，名校计算机专业统招硕士，20多年C\C++、Java开发经验。主导开发过密码、图形、人工智能等产品。精通Linux、Windows系统开发及数据库开发技术。

在处理长序列数据时，远程依赖关系的捕捉是至关重要的，而HiPPO通过高效压缩历史信息为系数向量，使得Mamba能够轻松应对这一挑战。这种精心的组合不仅提高了模型处理复杂任务的准确性，还增强了其稳定性和效率，使Mamba能在多个领域中发挥出色的表现，如图2-30所示。在后续章节中，我们将详细讲解Mamba在文本生成任务中的应用，到时会提供这方面的解决方案。可以看到，Mamba通过状态空间模型、HiPPO以及先进的离散化技术的有机结合，构建了一个强大而灵活的神经网络模型，为处理复杂序列数据提供了新的解决方案。

Mamba是一种新型的深度学习架构，它在保持对序列长度近似线性扩展性的同时，提供了与Transformers相当的建模能力。本书帮助读者探索Mamba在不同领域实现卓越性能的潜力，并深入理解和应用这一新兴的模型架构。本书配套示例源码、PPT课件与读者微信交流群服务。

幸运的是，现在有了更为便捷的选择——使用第三方已经部署好的DeepSeek服务。在我们登录上Modelscope社区后，点击左侧的“访问令牌”，创建一个可供使用的、免费调用Modelscope的 API-Inference的令牌序列，如图2-22所示。这些第三方服务通常提供免费的API接口，使得用户能够一键部署并实现特定的功能，无需关心底层的复杂性和资源配置问题。在创建访问令牌后，我们就可以通过代码部署并使用不同的DeepSeek 版本来完成我们的应用开发。运行以上代码，结果如图2-19所示。

点击主界面左下方的“设置”，会弹出的“设置”窗口，在“模型”选项卡中选择模型类型，这里根据我们安装模型的提供方选择“OLLAMA API”，Chatbox能检测到通过OLLAMA 运行起来的模型，选择你要对话的模型，比如“deepseek-1:1.5b”，点击“保存”按钮保存设置。（5）DeepSeek-R1-Distill-Qwen-1.5B模型下载成功后，这个模型就直接在本地系统上运行起来了，接下来我们就可以跟模型交互，下图是问模型“你是谁”的结果。比如，问模型“北京旅游线路”，结果如下。