Dream_Y.ocean的博客

由于Transformer模型的强大表征学习能力，可以在大规模文本数据上进行预训练，并且具有适用性广泛的特点，因此Transformer模型已经被广泛应用于自然语言处理领域，它能够各种任务上取得了优异的表现，包括情感分析。本篇使用股票市场上的股民评论数据作为训练数据，股票市场受到投资者情绪和情感的影响很大，通过对股票评论进行情感分析，可以帮助分析师和投资者更好地了解市场参与者的情绪状态，从而预测市场走势；

农作物病害是国家粮食安全的一个主要威胁，是决定农作物产量和质量的主要因素。由于传统方法缺乏必要的基础设施，并且极大程度依赖于人工经验，故诸多地区难以迅速高效地防治病害，从而影响农业的发展。因此，精确诊断农作物病害对于促进农业可持续发展至关重要。针对传统的农作物病害识别方法具有主观性并且极大程度依赖于人工经验的不足，利用卷积神经网络对农作物病害进行识别与分类。首先，利用数据增强技术扩充农作物病害原始数据集，增加数据的多样性和数量，同时可以提高训练网络的泛化能力和识别精度；

一阶运动模型FOMM 主要包括两个部分：运动估计和图像生成，其中运动估计进一步包含粗糙运动估计和密集运动预测。粗糙运动被建模为分离对象部分之间的稀疏运动，而密集运动则生成整个图像的光流和置信度图。我们用S和D分别表示源帧和驱动帧，这两者来自同一视频。首先从S和D估计各个对象部分的粗糙运动。每个对象部分的运动由仿射变换表示，Ak ∈ R^2x3，到一个抽象的共同参考帧R；X可以是S或D。针对K个不同的部分估计运动。

是一篇CCF A类会议ACM MM2023年上发表的文章。论文动机对于视频质量评价而言，视频的质量主要取决于视频的内容、视频的稳定性、视频有无失真。所以基于上述内容，本文从空间-时间进行建模以对视频的质量进行整体评价。论文思路提出一个时空模型对视频的图像和时间信息进行处理，最终得到视频预测的质量分数。视频抽帧处理：将视频每一秒抽取一帧关键帧空间信息处理：使用ImageNet上预训练的ResNet提取视频的空间信息时间信息处理：使用冻结参数的slowfast网络提取时间信息。

自深度学习出现至今，所有的网络几乎都研自于MLP，虽然MLP的效果较为不错，MLP没有非线性的能力，用其训练人工智能需要大量的参数的堆叠和激活函数的作用，这使得模型有了过拟合的风险。本项目旨在通过新型网络KAN替代往常深度学习网络中MLP层，借助KAN网络其本身的非线性拟合能力和良好的可解释性，探究其在神经网络中替代MLP的可能，并研发新型的深度学习网络架构，以提高深度学习的性能和可解释性。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！

DiT的全称是Diffusion in Transformer，它将Transformer引入到扩散模型中，替换了Stable Diffusion中常用的U-Net主干。通过增加Transformer深度/宽度或增加输入令牌数量，具有较高Gflops（浮点数运算次数）的DiT始终具有较低的FID（Fréchet初始距离，用于描述生成的图片和原始的图片之间的距离）。本文会讲解扩散模型的原理，从零开始逐步复现DiT模型。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！

本文对 “Cross-Modal Enhancement Network for Multimodal Sentiment Analysis” 论文进行讲解和手把手复现教学，解决当下热门的多模态情感计算问题，并展示在MOSI和MOSEI两个数据集上的效果综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！后续还会继续更新💓，欢迎持续关注📌哟~💫如果有错误❌，欢迎指正呀💫【传知科技 – 了解更多新知识】

在本文中深入探讨KAN卷积在医学图像分割领域的创新应用，特别是通过引入Tokenized KAN Block（Tok Kan）这一突破性设计，将深度学习中的图像分割技术推向了新的高度。KAN作为一种能够替代传统MLP（多层感知机）的网络结构，以其独特的优势在多个领域展现出强大的潜力。而在医学图像分割这一复杂且关键的领域，KAN卷积更是凭借其高效处理图像特征的能力，成为了研究的热点。

本文讲解并复现了2024年一篇多模态情感计算的文章 “TETFN: A text enhanced transformer fusion network for multimodal sentiment analysis”，这篇论文利用三种模态之间进行交互，并对文本模态进行增强，以更准确的提取非文本模态的情感信息。TETFN综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！后续还会继续更新💓，欢迎持续关注📌哟~💫如果有错误❌，欢迎指正呀💫。

本文复现论文提出的偏标记学习方法。程序基于Pytorch，会保存完整的训练日志，并生成损失变化图和准确度变化图。偏标记学习（Partial Label Learning）是一个经典的弱监督问题。在偏标记学习中，每个样例的监督信息为一个包含多个标签的候选标签集合。目前的偏标记方法大多基于自监督或者对比学习范式，或多或少地会遇到低性能或低效率的问题。该论文基于一致性正则化的思想，改进基于自监督的偏标记学习方法。具体地，该论文所提出的方法设计了两个训练目标。

帕金森病是一种使人虚弱的慢性神经系统疾病。传统中医（TCM）是一种诊断帕金森病的新方法，而用于诊断帕金森病的中医数据集是一个多标签数据集。考虑到帕金森病数据集中的症状（标签）之间总是存在相关性，可以通过利用标签相关性来促进多标签学习过程。目前的多标签分类方法主要尝试从标签对或标签链中挖掘相关性。该文章提出了一种简单且高效的多标签分类框架，称为潜在狄利克雷分布多标签（LDAML），该框架旨在通过使用类别标签的主题模型来学习全局相关性。

本文复现论文提出的深度神经网络模型。为了解决深度神经网络梯度消失的问题，深度残差网络(Residual Network[2])被提出。然而，仅为了提高千分之一的准确率，也要将网络的层数翻倍，这使得网络的训练变得非常缓慢。为了解决这些问题，该论文对ResNet基本块的架构进行了改进并提出了一种新颖的架构——宽度残差网络（Wide Residual Network），其减少了深度并增加了残差网络的宽度。

在目标检测需要许多手工设计的组件，例如非极大值抑制（NMS），基于人工经验生成的先验框(Anchor)等。DETR这篇文章通过将目标检测作为一个直接的集合预测问题，减少了人工设计组件的知识，简化了目标检测的流程。给定一组固定的可学习的目标查询，DETR推理目标和全局图像的上下文关系，由于DETR没有先验框的约束，因此对于较大的物体预测性能会更好。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！后续还会继续更新💓，欢迎持续关注📌哟~💫如果有错误❌，欢迎指正呀💫。

FCOS提出了一个全卷积的单阶段目标检测器，以逐像素预测的方式解决目标检测，类似于语义分割。FCOS通过消除预先定义的锚框集合，完全避免了训练过程中与锚框相关的复杂计算，例如与锚框相关的所有超参数，而这些参数通常对最终的检测性能非常敏感。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！后续还会继续更新💓，欢迎持续关注📌哟~💫如果有错误❌，欢迎指正呀💫【传知科技 – 了解更多新知识】

首先，这篇文章的出发点就是图像压缩最本源的目的，就是探索如何在相同的码率下获得更高质量的重建图像，或者说在得到的重建图像质量一样的情况下，如何进一步节省码率。然后作者就站在前人做的利用深度学习压缩的基础上思考，有一批人使用CNN的方法，可以很好地降低空间冗余度，然后捕获图像的空域结构；另一批人使用Transformer的结构，来捕捉图像中长距离的空间依赖关系。于是作者就想，能不能把这两种方法做一个结合，做这么样一个结构，使其同时具备这两种算法的优点。于是就在此基础上，作者提出了本文的方法。

SLAM代表同步定位和地图构建（Simultaneous Localization and Mapping），这一技术的主要含义在于其能让一个计算机通过外界定位传感器所传回的信息，经过算法函数的整合与过滤后可以得出该计算机所对应的代理机器处在的探测环境中的准确位置。在这其中，Visual SLAM便是一个只用环境图像便能实现精准定位的一个SLAM函数，并且还能是吸纳动态构造并实时更新周遭环境地图，让机器人可以在构建出的3D地图里定位和规划路径。

ChaTTS是一个功能强大的文本转语音系统，该模型使用了大量的的文本和语音数据进行相关模型的训练。目前该模型已经开源了训练之后的模型权重文件，以供程序员使用。本文将从TTS（Text-To-Speech）模型的角度讲解文生语音模型的原理，并以ChatTTS为例阐述部署模型和参数微调。VITS由于采用对抗训练的模式，模型主要包括生成器和判别器两大块，判别器仅在训练时使用。具体实现上，生成器net_g由SynthesizerTrn实现，包括先验编码器、随机时长预测器、解码器和后验编码器；

算法框图上图Transformer模块的核心模块是：( a )多Dconv头转置注意力( Multi-Dconv Head Transpose Attention，MDTA )，它执行跨通道而不是空间维度的查询关键特征交互；( b )门控Dconv前馈网络( Gated-Dconv Feeding Network，GDFN )，它执行受控的特征变换，即允许有用信息进一步传播。多Dconv头转置注意力(Multi-Dconv Head Transpose Attention，MDTA)

本案例基于ROS系统和数字传感器，并采用VSLAM技术实现了在Rviz下的气体浓度可视化建图，不同的气体浓度通过不同的颜色进行表示。其中的定位技术并不局限于VSLAM技术，只要是能通过ROS发布定位话题的相关定位技术均可以实现气体浓度建图，如UWB、GPS等。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！后续还会继续更新💓，欢迎持续关注📌哟~💫如果有错误❌，欢迎指正呀💫【传知科技 – 了解更多新知识】

本项目复现了CVPR2024中的一篇题为的文章。该文章旨在实现从单一的面部照片，生成在多样化头部位置、姿势、表情和光照条件等不同场景下的个性化图像。整个pipeline是基于预训练好的stable diffusion，在此基础上添加了一个新的框架—CapHuman，用于实现：个性化 (Generalizable Identity Preservation): 编码个体的身份特征,并将其对齐到latent space, 用以保持身份的一致性。

背景介绍：预训练语言模型（如BERT、RoBERTa等）在NLU任务上表现出色，但传统的微调方法需要更新模型的所有参数，这在训练时消耗大量内存，并且在推理时需要为每个任务保留模型参数的副本。提示调整（Prompt Tuning）：与传统的微调相比，提示调整通过只调整连续的提示（prompts），而不是整个模型参数，来减少每个任务的存储和内存使用。但以往的研究表明，对于非大型预训练模型，提示调整的性能并不理想。P-Tuning v2方法。

图像隐写术是一种在图片中隐藏消息的过程。虽然密码学等其他技术旨在防止对手阅读秘密消息，但隐写术旨在隐藏消息本身的存在。在本文中，我们提出了一种新的技术，用于使用生成对抗网络在图像中隐藏任意二进制数据，这使我们能够优化我们的模型生成的图像的感知质量。我们表明，我们的方法实现了每像素 4.4 位的最新有效载荷，逃避隐写分析工具的检测，并且对来自多个数据集的图像有效。为了实现公平比较，我们发布了一个在线可用的开源库封面图像 C 是从所有自然图像 PC 的概率分布中采样的。

本文讲解并复现一篇CVPR论文 “Towards Fewer Annotations: Active Learning via Region Impurity and Prediction Uncertainty for Domain Adaptive Semantic Segmentation”，该论文基于主动学习实现像素级分割–语义分割，并实现迁移学习–将两个虚拟生成的数据集进行训练，并迁移到真实世界数据集综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！

2022年，清华大学软件学院的学者提出了Autoformer:用于长期时间序列预测的自相关分解Transformer延长预测时间是实际应用的关键需求，如极端天气预警和长期能耗规划。本文研究了时间序列的长期预测问题。先前的基于 Transformer 的模型采用各种自注意力机制来发现长期依赖关系。然而，长期未来复杂的时间模式禁止模型找到可靠的依赖关系。本文通过对Transformer进行改进，通过序列分解和全新的自相关机制对时序数据进行建模，在各种公开的数据集上达到了很好的效果综上，我们基本了解了。

超分辨率（Super-Resolution），简称超分（SR）。是指利用光学及其相关光学知识，根据已知图像信息恢复图像细节和其他数据信息的过程，简单来说就是增大图像的分辨率，从模糊的低分辨率图像中重建出清晰度高、细节饱满的高分辨率图像。分辨率是描述图像清晰度的一个重要参数，它通常通过两个维度来定义：水平分辨率和垂直分辨率。这两个维度的乘积（即像素总数）决定了图像的总体分辨率。例如，一个800x600像素的图像，其分辨率就是800乘以600，即480,000像素。

情绪（或情感）识别（或检测）正日益引起来自多学科背景研究者的关注。情感计算，作为Picart提出的一个新兴研究领域，旨在使计算机系统能够准确地处理、识别和理解人类表达的情感信息，从而实现自然的人机交互（HCI），这是情感计算中的前沿科学问题。作为一种复杂的心理状态，反映在生理行为和生理活动中。过去十年里，研究人员一直致力于通过收集各种生理行为和生理活动中的情感信息来识别情感，例如来自麦克风的声音信号、神经生理活动测量设备的数据、摄像头的视频以及网站的文本等。

大家一定惊叹于AlphaGo zero在围棋领域的巨大成功，这种成功来源于强化学习的发展，在这里将以五子棋为例，向大家介绍如何从零开始手搓一个带有计算能力的AI人工智能。基本的算法与AlphaGo zero差不多，主要是自我博弈强化学习以及蒙特卡洛搜索树(MCTS)。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！后续还会继续更新💓，欢迎持续关注📌哟~💫如果有错误❌，欢迎指正呀💫【传知科技 – 了解更多新知识】

在当今的数据科学领域，Graph Neural Networks (GNNs) 已成为处理图结构数据的强大工具。然而，传统的GNN在图分类任务中面临一个重要挑战——嵌入不对齐问题。本文将介绍一篇名为“Label Attentive Distillation for GNN-Based Graph Classification”的论文，该论文提出了一种新颖的解决方案——LAD-GNN，以显著提升图分类的性能。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！

生成对抗网络（Generative Adversarial Networks, GAN）是一种深度学习模型，由Ian Goodfellow等人在2014年提出。GAN的核心思想是通过两个神经网络的对抗训练来生成逼真的数据。它包含两个主要部分：生成器（Generator）和判别器（Discriminator）。该模型在扩散模型被广泛应用之前一直是图像生成领域非常重要的一个模型，现如今即使再扩散模型强大的冲击下，该模型在如妆容迁移等领域依然有着非常广泛的应用。本文将详细介绍该模型并在MNIST数据集上进行实现。

这里我将介绍一篇MICCAI 2023的一篇医学图像分割的文章。这篇文章提出了一种新的解耦一致性半监督医学图像分割框架。该框架充分利用预测数据，将预测数据解耦为用于各种功能的数据，并最大限度地发挥每种功能的优势。如该图所示，DC-Net包含一个编码器和两个一致的解码器，对于A解码器，用双线性插值进行上采样，对于B解码器使用反卷积进行上采样。

表情识别在计算机视觉和人机交互中具有广泛的应用前景。基于深度学习的表情识别系统可以帮助识别和分析人脸上的情绪状态，应用于智能安防、情感计算和社交机器人等领域。本文将介绍我们基于改进的MobileNetV3模型进行表情识别的工作。通过引入CBAM注意力机制和GELU激活函数，我们有效地提升了模型的性能和准确度。数据展示及介绍RAF-DB（Real-world Affective Faces Database）是一个广泛应用于表情识别研究的数据集。

CMU-MOSI: CMU-MOSI数据集是MSA研究中流行的基准数据集。该数据集是YouTube独白的集合，演讲者在其中表达他们对电影等主题的看法。MOSI共有93个视频，跨越89个远距离扬声器，包含2198个主观话语视频片段。这些话语被手动注释为[-3，3]之间的连续意见评分，其中-3/+3表示强烈的消极/积极情绪。CMU-MOSEI: CMU-MOSEI数据集是对MOSI的改进，具有更多的话语数量，样本，扬声器和主题的更大多样性。

CMU-MOSI: 它是一个多模态数据集，包括文本、视觉和声学模态。它来自Youtube上的93个电影评论视频。这些视频被剪辑成2199个片段。每个片段都标注了[-3,3]范围内的情感强度。该数据集分为三个部分，训练集(1,284段)、验证集(229段)和测试集(686段)。CMU-MOSEI: 它类似于CMU-MOSI，但规模更大。它包含了来自在线视频网站的23,453个注释视频片段，涵盖了250个不同的主题和1000个不同的演讲者。

CMU-MOSI: 它是一个多模态数据集，包括文本、视觉和声学模态。它来自Youtube上的93个电影评论视频。这些视频被剪辑成2199个片段。每个片段都标注了[-3,3]范围内的情感强度。该数据集分为三个部分，训练集(1,284段)、验证集(229段)和测试集(686段)。CMU-MOSEI: 它类似于CMU-MOSI，但规模更大。它包含了来自在线视频网站的23,453个注释视频片段，涵盖了250个不同的主题和1000个不同的演讲者。

生成模型，通过从数据中学习联合概率分布并据此生成样本，是机器学习和人工智能中的一个重要任务。受量子物理学中概率解释的启发，该文章提出了一种使用矩阵积状态的生成模型，这是一种最初用于描述（特别是一维）纠缠量子态的张量网络。其模型享有类似于密度矩阵重正化群方法的高效学习能力，该方法允许动态调整张量的维度，并提供了一种高效的直接采样方法用于生成任务。本文试图复现该文章的工作，利用该文章的思想，方法去实现MNIST手写数字的生成任务。综上，我们基本了解了“一项全新的技术啦”🍭~~

SparseBEV是一个基于查询的单阶段检测器，具有L个解码器层。SparseBEV首先使用图像主干和FPN结构逐帧处理输入的多摄像机视频。之后，在BEV空间中初始化一组稀疏支柱查询，并通过自适应自注意力进行聚合。这些查询通过自适应时空采样和自适应混合与图像特征交互，以进行3D目标检测。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！后续还会继续更新💓，欢迎持续关注📌哟~💫如果有错误❌，欢迎指正呀💫【传知科技 – 了解更多新知识】

本文复现论文 Automatic Whole Heart Segmentation in CT Images Based on Multi-atlas Image Registration[1] 提出的心腔分割算法。整个心脏子结构的准确分割、建模和分析对于临床应用的开发非常重要。然而，对全部心脏子结构的分割十分具有挑战性，且目前仍然依赖手动操作。为了解决这一难题，该论文提出了一种基于多模板图像配准的自动全心分割算法。论文所提出的方法对患者CT图像中心脏部分的七个子结构进行图像分割。

运用Python语言编程知识及实现网络数据采集的各种Python第三方库、Scrapy框架等实现技术爬取网页信息，要求爬取的网页信息至少包括两种类型：标题列表页（该页要包括分页功能）和详情页。综上，我们基本了解了“一项全新的技术啦”🍭~~恭喜你的内功又双叒叕得到了提高！！！后续还会继续更新💓，欢迎持续关注📌哟~💫如果有错误❌，欢迎指正呀💫【传知科技 – 了解更多新知识】

近年来，社交媒体的快速扩张推动了用户生成内容的大幅增加，特别是视频。跨不同模态的自动情感分析已成为旨在增强人机交互的关键研究领域。情感分析最初专注于提取和分析通过文本传达的情感。然而，随着计算能力的提高和视听通信的兴起，多模态情感分析（MSA）已经出现。这种方法集成了文本，音频和视觉输入，以加深对人类情感的理解。MSA在教育、客户反馈分析、心理健康监测和个性化广告等多个领域都有应用，显著增强了我们在各种沟通形式中解释和应对情感线索的能力。

红外图像在许多领域中都有所应用。例如军事领域中，经常需要通过红外成像设备对远距离的目标进行侦察和监视，如复杂背景下的无人机、导弹之类的物体。此外，航空航天领域中也需要通过红外传感器检测地面或海上的船只、车辆等等。这些需要检测的物体在红外图像中通常都是以不超过7X7像素大小的小目标呈现。在实际应用时，我们一般不需要区分这些物体的形状或纹理，而只需区分图像中是否有这些物体(有时对其检测位置及大小也有一定要求)以及时采取相应的措施，这就是红外小目标检测的应用场景。