揭秘AI如何揪出图片中的“李鬼”

揭秘AI如何揪出图片中的李鬼(论文复现) 阅读详情


✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨

🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢,在这里我会分享我的知识和经验。🎥

希望在这里,我们能一起探索IT世界的奥妙,提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏:传知代码论文复现

欢迎访问我的主页:Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​


需要本文的详细复现过程的项目源码、数据和预训练好的模型可从该地址处获取完整版:地址

文字篡改图像的“照妖镜”:揭秘AI如何揪出图片中的“李鬼”

  • 在数字化时代,我们时常被各种图像信息所包围。然而,这些图像中有时隐藏着不为人知的秘密——被篡改的文字或图像。这些被篡改的内容可能误导我们的判断,甚至在某些情况下造成严重的后果。幸运的是,随着人工智能(AI)技术的发展,我们现在已经拥有了一种工具,可以帮助我们揪出这些图片中的“李鬼”。 我们的AI模型能够接收用户上传的疑似篡改的文字图像,并通过深度学习和图像分析技术,自动检测并标注出图像中疑似被篡改的区域。这对于新闻工作者、调查人员、甚至是普通网友来说,都是一项非常实用的功能。 然而,我们必须强调的是,尽管我们的模型在检测文字图像篡改方面具有较高的准确率,但它并不是万能的。AI的能力受限于其训练的数据和算法的设计。在检测物体擦除或人脸P图等更为复杂的图像篡改时,我们的模型可能无法提供同样准确的结果。这是因为这些类型的篡改通常涉及到更多的图像处理和合成技术,需要更高级的算法和更大的数据集来支持。 此外,我们还需要提醒用户,模型的效果与训练的数据集高度相关。不同的数据集会导致模型学习到不同的特征和模式。因此,使用不同的数据集训练得到的模型,在检测同一张图片时,可能会得到不同的结果。这也是为什么我们在提供这项服务时,会明确告知用户所使用的数据集和训练过程。 对于希望进一步提高检测准确率的用户,我们鼓励他们使用自己的数据集来训练模型。通过收集更多样化、更贴近实际需求的图像数据,用户可以训练出更加精准、更加符合自己需求的模型。当然,这需要一定的技术知识和经验,但这也是AI技术带来的魅力之一——它让我们有可能根据自己的需求来定制和优化解决方案。

前言

  • 在如今这个“P图大神”遍地走的时代,图片的真实性越来越难以保证。尤其是在文档图像领域,篡改文字、伪造证书等行为可能带来严重的风险。想象一下,你正准备签一份重要合同,却发现附件中的资质证书似乎有点不对劲。是的,你没猜错,这正是图像篡改的“作案现场”。

在这里插入图片描述 文字图像篡改,听起来是不是很像电影里的高级犯罪?但这可不仅仅是电影情节,它真实地发生在我们的数字生活中。文档图像篡改指的是对文档图像进行的未经授权的修改,包括文字、图表、印章等内容的删除、修改、添加或替换。 当你怀疑一张图片被篡改时,你会怎么做?是不是会像侦探一样,拿着放大镜仔细观察,寻找蛛丝马迹?AI侦探也是如此,它会运用一种叫做注意力机制的技术,就像人眼一样,不断放大缩小图像,对比观察不同区域的特征,从而精准定位篡改区域。这种技术的运用,不仅提高了检测的准确性,也极大提升了效率,让AI在图像取证领域展现出了惊人的潜力。 但AI侦探的“火眼金睛”是如何炼成的呢?这就不得不提到一项最新的研究成果——一种结合了伪造痕迹增强和多尺度注意力机制的网络框架。这个框架通过深度学习算法,能够从多个维度分析图像,识别出那些肉眼难以察觉的篡改痕迹。 研究人员们通过构建一个大规模的文本图像篡改数据集,训练AI侦探识别各种篡改手段。在实验中,AI侦探展现出了极高的准确率,即使是面对经过精心伪装的篡改图像,也难逃它的“法眼”。 这项技术的出现,无疑为我们的数字生活增添了一份安全保障。它不仅能够帮助我们识别出那些潜在的风险,更能够提升我们对数字内容的信任度。在未来,随着技术的不断进步,AI侦探将更加智能,成为我们守护信息安全的重要伙伴。

AI侦探的“放大镜”和“显微镜”:揭秘注意力机制如何工作

想象一下,当你怀疑一张图片被篡改时,你会怎么做?是不是会像侦探一样,拿着放大镜仔细观察,寻找蛛丝马迹?AI侦探也是如此,它会运用一种叫做注意力机制的技术,就像人眼一样,不断放大缩小图像,对比观察不同区域的特征,从而精准定位篡改区域。

那么,这个神秘的注意力机制是如何工作的呢?首先,AI模型会像一位细心的侦探一样,对图像进行彻底的特征提取,分析并记录下各种特征,比如颜色、纹理、形状等。这些特征就像是图像的指纹,为后续的分析提供了重要的线索。接着,模型会根据这些特征的重要性,为图像的不同区域分配不同的权重。这就好比侦探在案件中,会根据嫌疑人的可疑程度给予不同的关注。在图像篡改的案件中,那些与周围环境不一致的区域,往往就是篡改的痕迹,因此会被赋予更高的权重。最后,模型会根据权重分布,将注意力集中在最有可能被篡改的聚焦区域,进行更深入的分析。这就好比侦探在案件的关键环节,会集中精力,深入挖掘线索,力求揭开真相。注意力机制的优势显而易见。它不仅能够精准定位篡改痕迹,减少误判率,还能够高效处理图像数据,通过合理分配计算资源,只关注重要的区域。此外,它的权重分布还具有很好的可解释性,能够直观地展示模型的关注点,让整个过程更加透明。

  • 实战演练:复现论文代码 当然,光说不练假把式。在接下来的文章中,我们将以一篇论文为例,论文题目是《Robust Text Image Tampering Localization via Forgery Traces Enhancement and Multiscale Attention》,于24年2月发表在SCI二区期刊IEEE Transactions on Consumer Electronics上,详细讲解文字篡改图像的检测定位技术,并带你一起复现论文中的代码。通过亲自动手实践,你将更深入地理解这项技术的原理和实现过程,也能更好地掌握AI侦探的“火眼金睛”。

论文背景

在数字化时代,图像已成为信息传播的主要载体之一。无论是社交媒体分享,还是正式文件电子版,图像都扮演着关键角色。然而,随着图像编辑技术的飞速发展,尤其是深度学习和人工智能的介入,图像篡改变得前所未有的容易。一些不法分子利用这些技术,对图像内容进行非法篡改,以达到误导、欺诈甚至更严重的犯罪目的。

其中,文字图像篡改尤其值得关注。如资质证书、官方文件、合同协议等,文字篡改可能导致极其严重的后果。一份被篡改的合同文本,可能会造成巨大的经济损失;一张伪造的身份证,可能被用于洗钱或其他犯罪活动。因此,研究和开发有效的文字图像篡改检测技术,对于维护社会秩序、保护公民权益、促进信息安全具有重大意义。相较于自然图像,文本图像中轻微的篡改(如单个字符)可能会大幅改变其语义,因此确保文本图像真实性至关重要。与自然图像相比,文本图像篡改检测面临独特挑战,包括均匀的纹理、简单的封闭边界,以及对象之间的规则间隙。篡改区域可能微小(如单个字符),与背景对比度也很微妙,这使得文本图像篡改检测更具挑战性。

文字图像篡改检测面临着独特的挑战:

文字图像具有均匀的纹理、简单的边界和规则的间隙,使得篡改区域难以识别。 篡改区域可能非常小(例如单个字符),并且与背景的对比度微妙,增加了检测难度。 现实场景中的伪造图像可能经过压缩、重拍或图像融合等后处理,进一步掩盖了篡改痕迹,降低了检测算法的有效性。 尽管已有一些相关方法,但大多数现有算法是在受控实验室环境中开发和验证的,缺乏对真实场景的鲁棒性和普遍性考虑。在实际情况中,伪造图像不可避免地会遭受后处理,如有损压缩、重新捕捉或复杂融合,这些操作可能掩盖篡改痕迹,严重降低了篡改定位性能。

论文思路

在文字图像篡改检测这一领域,该论文提出了一种创新的网络框架,旨在提升检测的准确性和鲁棒性。论文的核心思路是通过增强篡改痕迹和应用多尺度注意力机制,来精确地定位和检测图像中的篡改区域。这一思路的提出,基于对现有技术的深刻理解和对现实挑战的准确把握。

该篇论文的主要贡献点为:

  • 篡改痕迹增强网络:论文中提出的伪造痕迹增强网络是一个创新点。该网络能够从多个领域增强伪造痕迹,减少背景干扰,这对于提高篡改区域的检测精度至关重要。这一模块的设计,使得模型能够更好地聚焦于潜在的篡改区域,而不是被图像的非篡改部分所分散注意力。

  • 多尺度注意力机制:通过设计一个多尺度注意力模块,论文进一步创新了特征融合策略。这种机制类似于人类视觉系统的工作方式,能够同时关注图像的宏观结构和微观细节,从而更全面地捕捉篡改特征。

  • 编码器-解码器网络:论文中提出的编码器-解码器网络结构,通过融合高级语义和低级视觉细节,进一步提升了篡改特征的提取能力。这种结构的设计,使得模型在处理复杂的图像篡改时,能够保持高效的特征传递和信息恢复。

  • 大规模数据集构建:为了验证所提方法的有效性,研究者构建了一个大规模的文本图像篡改数据集。该数据集包含了多种篡改方法和失真情况,为研究者提供了一个全面评估模型性能的平台。

  • 在文字图像篡改检测领域,该论文的提出的方法与现有技术相比,具有显著的优势。传统的篡改检测方法往往依赖于单一的特征提取或简单的机器学习模型,这在面对复杂的篡改手段时,容易受到干扰和欺骗。而该论文提出的方法,通过深度学习技术的应用,能够从更深层次理解图像内容,从而提高检测的准确性。此外,论文中的方法在设计时,充分考虑了现实世界中的复杂情况。例如,现实世界中的篡改图像往往会经历多次压缩、传输和编辑,这些操作会在图像中留下难以察觉的痕迹。通过增强这些痕迹并应用多尺度分析,论文中的方法能够有效地抵抗这些干扰,提高检测的鲁棒性。论文中的模型在多种真实世界的失真场景下进行了测试,包括JPEG压缩、图像重摄和屏幕截图等。这些测试结果证明了模型不仅在理论上是可行的,而且在实际应用中也具有很高的鲁棒性。

模型结构

该论文针对这一问题,提出了一种创新的解决方案,如图所示,该方法主要包括三个关键阶段:训练数据集的构建,篡改痕迹增强和文本图像篡改定位。 在这里插入图片描述

篡改痕迹增强网络

经过篡改的文本图像常常会经历如JPEG压缩等后处理操作,这些操作往往会损害或掩盖篡改的痕迹。针对这一问题,该论文提出了一种篡改痕迹增强网络模块,其核心目的是提升图像定位在面临有损后处理时的鲁棒性。

该网络模块由两个主要部分构成:多模态特征提取器和篡改痕迹增强网络。多模态特征提取器采用两种不同的特征算子,分别从空间域和错误级域中提取篡改的线索。恢复网络则采用融合的特征,并应用类似UNet的网络结构,其主要目标是通过残差学习来恢复细微的篡改痕迹。此外,该恢复网络还能抑制非篡改相关的图像伪影,并尝试恢复纯篡改图像,以便于进一步的定位。

该网络结合了误差级别分析(Error Level Analysis,ELA)和空间丰富模型(Spatial Rich Model,SRM)来提取粗略的篡改伪影。SRM模块在空间域中操作,提供了图像的空间统计信息和文本结构的重要线索。ELA模块则在误差级别域中工作,揭示出篡改过程中引入的差异和伪影。这两种模态的融合为后续模块提供了区分真实区域和被篡改区域的有力特征。因此,多模态特征提取器包括ELA和SRM两个算子,其可表示为: 在这里插入图片描述

文本图像篡改定位网络

在文字图像篡改检测领域,该论文引入了一个关键创新点——LHSE(Local and Hierarchical Semantic Enhancement)模块。该模块旨在通过局部和层次化的语义增强,进一步提升篡改检测的性能。具体来说,LHSE模块首先利用局部卷积操作精细捕捉图像中的局部特征,这些特征能够精确反映图像各区域的细节信息,特别是潜在的篡改区域。通过精心设计的卷积核大小和步长,模块能够提取出多尺度的局部特征,为后续的语义增强提供了丰富的信息基础。

接下来,LHSE模块利用层次化的语义融合策略整合这些局部特征。它采用多尺度金字塔结构,将不同层次的特征进行融合,从而全面捕获从微观到宏观的全方位信息。这种层次化的处理方式不仅有助于模型更好地理解图像的结构和上下文信息,还显著提高了篡改检测的准确性。

为了进一步增强篡改痕迹的表达能力,LHSE模块还引入了一种语义增强机制。通过对特征图进行非线性变换和重新加权,模块能够突出显示潜在的篡改区域,并有效抑制背景干扰。这种增强操作使模型能够更加专注于篡改痕迹,从而提高了检测的灵敏度。

在实际应用中,LHSE模块不仅显著增强了图像中篡改痕迹的表达能力,使模型能够更准确地定位和识别篡改区域,还提高了检测的精度和可靠性。同时,该模块的设计充分考虑了现实世界中的多种失真场景,如JPEG压缩、图像重摄等,通过提取多尺度的局部特征和进行层次化的语义融合,模块能够在这些复杂场景下保持稳定的性能,从而增强了模型的鲁棒性。

在这里插入图片描述 下图是对LHSE模块前后的特征映射的可视化。从左到右两列分别为输入的篡改图像、真实掩模、LHSE模块前后的特征结果。由最后一列的结构可以看出,LHSE模块生成的融合特征图有效地捕获了被篡改的区域。

在这里插入图片描述

损失函数

该论文提出了一种损失函数,旨在提高文本图像篡改检测的准确性。该损失函数将权重二进制交叉熵(WeightBCE)和权重骰子损失(WeightDice)进行组合,以平衡正负样本和困难样本的权重。

具体而言,权重二进制交叉熵损失函数通过引入额外的权重参数q,控制负样本与正样本的比例,从而有效解决训练过程中正负样本的不平衡问题。权重骰子损失函数则计算预测掩膜和对应真值掩膜之间的交集和并集,以量化预测和真值之间的重叠程度。同时,通过引入权重参数p,该损失函数可以调整困难样本的权重,以提高检测的准确性。

综合而言,该损失函数能够有效地利用权重二进制交叉熵损失函数的优势,惩罚模型在错误区域过度自信的倾向,同时利用权重骰子损失函数的优势,量化预测和真值之间的重叠程度。通过合理地平衡正负样本和困难样本的权重,该损失函数在文本图像篡改检测任务中取得了较好的性能。

在这里插入图片描述

复现过程

在图像篡改检测的研究领域,首先关注实验结果的可视化图像,其中“Images”列展示了被篡改的原始图像,而“Mask”列则呈现了对应的篡改区域。该研究的主要目标是实现图像篡改区域的精确定位。从图像分类的角度来看,这个问题可以被视为一个逐像素级别的二分类任务。具体来说,针对被篡改的图像A中的每个像素点(x,y),模型需要对其是否被篡改进行判断。如果模型判断一个像素点被篡改,则输出1;否则,输出0。通过这种方式,所有像素点的0和1输出组合成了一张与原始图像A分辨率相同的二值掩膜图像。在这张掩膜图像中,白色区域代表了图像中被篡改的位置,而黑色区域则表示未被篡改的部分。通过生成精确的篡改区域图,篡改检测模型能够辅助用户识别和定位图像中的不真实内容。在本文的可视化结果中,所提出的方法表现出对小规模篡改区域的精确定位能力,例如单个数字或字符的篡改。这种能力得益于所采用的多尺度特征融合机制,它能够有效整合高层语义特征和低层视觉细节。此外,从可视化结果中可以观察到,所提出的方法不仅能够突出微小篡改区域,而且能够有效抑制背景噪声,尤其在复杂文本图像背景下,仍能准确识别篡改区域,不受背景噪声的干扰。

在这里插入图片描述 复现过程可以分解成以下几个模块分别实现(以下只给出代码的关键部分):

  • 使用python代码实现给出的损失函数公式;

  • 使用pytorch代码搭建模型网络结构搭建;

  • 整体训练框架搭建;

  • 设置参数,训练和测试模型;

步骤一:

  • 使用python代码实现给出的损失函数公式,由上可得,总损失函数由两个损失函数组成,分别是

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#770088">import</span> <span style="color:#000000">torch</span>.<span style="color:#000000">nn</span>.<span style="color:#000000">functional</span> <span style="color:#770088">as</span> <span style="color:#000000">F</span>
<span style="color:#770088">import</span> <span style="color:#000000">torch</span>.<span style="color:#000000">nn</span> <span style="color:#770088">as</span> <span style="color:#000000">nn</span>
<span style="color:#aa5500">######## Weighted BCE Loss ###########</span>
<span style="color:#770088">class</span> <span style="color:#0000ff">WeightedBCE</span>(<span style="color:#000000">nn</span>.<span style="color:#000000">Module</span>):
    <span style="color:#770088">def</span> <span style="color:#0000ff">__init__</span>(<span style="color:#0055aa">self</span>, <span style="color:#000000">weights</span><span style="color:#981a1a">=</span>[<span style="color:#116644">0.2</span>, <span style="color:#116644">0.8</span>]):
        <span style="color:#3300aa">super</span>(<span style="color:#000000">WeightedBCE</span>, <span style="color:#0055aa">self</span>).<span style="color:#000000">__init__</span>()
        <span style="color:#0055aa">self</span>.<span style="color:#000000">weights</span> <span style="color:#981a1a">=</span> <span style="color:#000000">weights</span>
​
    <span style="color:#770088">def</span> <span style="color:#0000ff">forward</span>(<span style="color:#0055aa">self</span>, <span style="color:#000000">logit_pixel</span>, <span style="color:#000000">truth_pixel</span>):
        <span style="color:#000000">logit</span> <span style="color:#981a1a">=</span> <span style="color:#000000">logit_pixel</span>.<span style="color:#000000">reshape</span>(<span style="color:#981a1a">-</span><span style="color:#116644">1</span>)
        <span style="color:#000000">truth</span> <span style="color:#981a1a">=</span> <span style="color:#000000">truth_pixel</span>.<span style="color:#000000">reshape</span>(<span style="color:#981a1a">-</span><span style="color:#116644">1</span>)
        <span style="color:#770088">assert</span>(<span style="color:#000000">logit</span>.<span style="color:#000000">shape</span><span style="color:#981a1a">==</span><span style="color:#000000">truth</span>.<span style="color:#000000">shape</span>)
        <span style="color:#000000">loss</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">binary_cross_entropy</span>(<span style="color:#000000">logit</span>, <span style="color:#000000">truth</span>, <span style="color:#000000">reduction</span><span style="color:#981a1a">=</span><span style="color:#aa1111">'mean'</span>)
        <span style="color:#000000">pos</span> <span style="color:#981a1a">=</span> (<span style="color:#000000">truth</span><span style="color:#981a1a">>=</span><span style="color:#116644">0.35</span>).<span style="color:#000000">float</span>()
        <span style="color:#000000">neg</span> <span style="color:#981a1a">=</span> (<span style="color:#000000">truth</span><span style="color:#981a1a"><</span><span style="color:#116644">0.35</span>).<span style="color:#000000">float</span>()
        <span style="color:#000000">pos_weight</span> <span style="color:#981a1a">=</span> <span style="color:#000000">pos</span>.<span style="color:#000000">sum</span>().<span style="color:#000000">item</span>() <span style="color:#981a1a">+</span> <span style="color:#116644">1e-12</span>
        <span style="color:#000000">neg_weight</span> <span style="color:#981a1a">=</span> <span style="color:#000000">neg</span>.<span style="color:#000000">sum</span>().<span style="color:#000000">item</span>() <span style="color:#981a1a">+</span> <span style="color:#116644">1e-12</span>
        <span style="color:#000000">loss</span> <span style="color:#981a1a">=</span> (<span style="color:#0055aa">self</span>.<span style="color:#000000">weights</span>[<span style="color:#116644">0</span>]<span style="color:#981a1a">*</span><span style="color:#000000">pos</span><span style="color:#981a1a">*</span><span style="color:#000000">loss</span><span style="color:#981a1a">/</span><span style="color:#000000">pos_weight</span> <span style="color:#981a1a">+</span> <span style="color:#0055aa">self</span>.<span style="color:#000000">weights</span>[<span style="color:#116644">1</span>]<span style="color:#981a1a">*</span><span style="color:#000000">neg</span><span style="color:#981a1a">*</span><span style="color:#000000">loss</span><span style="color:#981a1a">/</span><span style="color:#000000">neg_weight</span>).<span style="color:#000000">sum</span>()
        <span style="color:#770088">return</span> <span style="color:#000000">loss</span>
​
​
<span style="color:#aa5500">######## Weighted Dice Loss ###########</span>
<span style="color:#770088">class</span> <span style="color:#0000ff">WeightedDiceLoss</span>(<span style="color:#000000">nn</span>.<span style="color:#000000">Module</span>):
    <span style="color:#770088">def</span> <span style="color:#0000ff">__init__</span>(<span style="color:#0055aa">self</span>, <span style="color:#000000">weights</span><span style="color:#981a1a">=</span>[<span style="color:#116644">0.5</span>, <span style="color:#116644">0.5</span>]): <span style="color:#aa5500"># W_pos=0.8, W_neg=0.2</span>
        <span style="color:#3300aa">super</span>(<span style="color:#000000">WeightedDiceLoss</span>, <span style="color:#0055aa">self</span>).<span style="color:#000000">__init__</span>()
        <span style="color:#0055aa">self</span>.<span style="color:#000000">weights</span> <span style="color:#981a1a">=</span> <span style="color:#000000">weights</span>
​
    <span style="color:#770088">def</span> <span style="color:#0000ff">forward</span>(<span style="color:#0055aa">self</span>, <span style="color:#000000">logit</span>, <span style="color:#000000">truth</span>, <span style="color:#000000">smooth</span><span style="color:#981a1a">=</span><span style="color:#116644">1e-5</span>):
        <span style="color:#000000">batch_size</span> <span style="color:#981a1a">=</span> <span style="color:#3300aa">len</span>(<span style="color:#000000">logit</span>)
        <span style="color:#000000">logit</span> <span style="color:#981a1a">=</span> <span style="color:#000000">logit</span>.<span style="color:#000000">reshape</span>(<span style="color:#000000">batch_size</span>,<span style="color:#981a1a">-</span><span style="color:#116644">1</span>)
        <span style="color:#000000">truth</span> <span style="color:#981a1a">=</span> <span style="color:#000000">truth</span>.<span style="color:#000000">reshape</span>(<span style="color:#000000">batch_size</span>,<span style="color:#981a1a">-</span><span style="color:#116644">1</span>)
        <span style="color:#770088">assert</span>(<span style="color:#000000">logit</span>.<span style="color:#000000">shape</span><span style="color:#981a1a">==</span><span style="color:#000000">truth</span>.<span style="color:#000000">shape</span>)
        <span style="color:#000000">p</span> <span style="color:#981a1a">=</span> <span style="color:#000000">logit</span>.<span style="color:#000000">view</span>(<span style="color:#000000">batch_size</span>,<span style="color:#981a1a">-</span><span style="color:#116644">1</span>)
        <span style="color:#000000">t</span> <span style="color:#981a1a">=</span> <span style="color:#000000">truth</span>.<span style="color:#000000">view</span>(<span style="color:#000000">batch_size</span>,<span style="color:#981a1a">-</span><span style="color:#116644">1</span>)
​
        <span style="color:#000000">w</span> <span style="color:#981a1a">=</span> <span style="color:#000000">truth</span>.<span style="color:#000000">detach</span>()
        <span style="color:#000000">w</span> <span style="color:#981a1a">=</span> <span style="color:#000000">w</span><span style="color:#981a1a">*</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">weights</span>[<span style="color:#116644">1</span>]<span style="color:#981a1a">-</span><span style="color:#0055aa">self</span>.<span style="color:#000000">weights</span>[<span style="color:#116644">0</span>])<span style="color:#981a1a">+</span><span style="color:#0055aa">self</span>.<span style="color:#000000">weights</span>[<span style="color:#116644">0</span>]
        <span style="color:#000000">p</span> <span style="color:#981a1a">=</span> <span style="color:#000000">w</span><span style="color:#981a1a">*</span>(<span style="color:#000000">p</span>)
        <span style="color:#000000">t</span> <span style="color:#981a1a">=</span> <span style="color:#000000">w</span><span style="color:#981a1a">*</span>(<span style="color:#000000">t</span>)
        <span style="color:#000000">intersection</span> <span style="color:#981a1a">=</span> (<span style="color:#000000">p</span> <span style="color:#981a1a">*</span> <span style="color:#000000">t</span>).<span style="color:#000000">sum</span>(<span style="color:#981a1a">-</span><span style="color:#116644">1</span>)
        <span style="color:#000000">union</span> <span style="color:#981a1a">=</span>  (<span style="color:#000000">p</span> <span style="color:#981a1a">*</span> <span style="color:#000000">p</span>).<span style="color:#000000">sum</span>(<span style="color:#981a1a">-</span><span style="color:#116644">1</span>) <span style="color:#981a1a">+</span> (<span style="color:#000000">t</span> <span style="color:#981a1a">*</span> <span style="color:#000000">t</span>).<span style="color:#000000">sum</span>(<span style="color:#981a1a">-</span><span style="color:#116644">1</span>)
        <span style="color:#000000">dice</span>  <span style="color:#981a1a">=</span> <span style="color:#116644">1</span> <span style="color:#981a1a">-</span> (<span style="color:#116644">2</span><span style="color:#981a1a">*</span><span style="color:#000000">intersection</span> <span style="color:#981a1a">+</span> <span style="color:#000000">smooth</span>) <span style="color:#981a1a">/</span> (<span style="color:#000000">union</span> <span style="color:#981a1a">+</span><span style="color:#000000">smooth</span>)
        <span style="color:#000000">loss</span> <span style="color:#981a1a">=</span> <span style="color:#000000">dice</span>.<span style="color:#000000">mean</span>()
        <span style="color:#770088">return</span> <span style="color:#000000">loss</span>
​
​
<span style="color:#aa5500">######## Total Loss  = WeightedDice Loss  + WeightedBCE###########</span>
<span style="color:#770088">class</span> <span style="color:#0000ff">WeightedDiceBCE</span>(<span style="color:#000000">nn</span>.<span style="color:#000000">Module</span>):
    <span style="color:#770088">def</span> <span style="color:#0000ff">__init__</span>(<span style="color:#0055aa">self</span>,<span style="color:#000000">dice_weight</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>,<span style="color:#000000">BCE_weight</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>):
        <span style="color:#3300aa">super</span>(<span style="color:#000000">WeightedDiceBCE</span>, <span style="color:#0055aa">self</span>).<span style="color:#000000">__init__</span>()
        <span style="color:#0055aa">self</span>.<span style="color:#000000">BCE_loss</span> <span style="color:#981a1a">=</span> <span style="color:#000000">WeightedBCE</span>(<span style="color:#000000">weights</span><span style="color:#981a1a">=</span>[<span style="color:#116644">0.8</span>, <span style="color:#116644">0.2</span>])
        <span style="color:#0055aa">self</span>.<span style="color:#000000">dice_loss</span> <span style="color:#981a1a">=</span> <span style="color:#000000">WeightedDiceLoss</span>(<span style="color:#000000">weights</span><span style="color:#981a1a">=</span>[<span style="color:#116644">0.5</span>, <span style="color:#116644">0.5</span>])
        <span style="color:#0055aa">self</span>.<span style="color:#000000">BCE_weight</span> <span style="color:#981a1a">=</span> <span style="color:#000000">BCE_weight</span>
        <span style="color:#0055aa">self</span>.<span style="color:#000000">lovasz_weight</span> <span style="color:#981a1a">=</span> <span style="color:#116644">0</span>
        <span style="color:#0055aa">self</span>.<span style="color:#000000">dice_weight</span> <span style="color:#981a1a">=</span> <span style="color:#000000">dice_weight</span>
        
    <span style="color:#770088">def</span> <span style="color:#0000ff">forward</span>(<span style="color:#0055aa">self</span>, <span style="color:#000000">inputs</span>, <span style="color:#000000">targets</span>):
        <span style="color:#000000">dice</span> <span style="color:#981a1a">=</span> <span style="color:#0055aa">self</span>.<span style="color:#000000">dice_loss</span>(<span style="color:#000000">inputs</span>, <span style="color:#000000">targets</span>)
        <span style="color:#000000">BCE</span> <span style="color:#981a1a">=</span> <span style="color:#0055aa">self</span>.<span style="color:#000000">BCE_loss</span>(<span style="color:#000000">inputs</span>, <span style="color:#000000">targets</span>)
        <span style="color:#000000">dice_BCE_loss</span> <span style="color:#981a1a">=</span> <span style="color:#0055aa">self</span>.<span style="color:#000000">dice_weight</span> <span style="color:#981a1a">*</span> <span style="color:#000000">dice</span> <span style="color:#981a1a">+</span> <span style="color:#0055aa">self</span>.<span style="color:#000000">BCE_weight</span> <span style="color:#981a1a">*</span> <span style="color:#000000">BCE</span>
        <span style="color:#770088">return</span> <span style="color:#000000">dice_BCE_loss</span></span></span>

步骤二:

使用pytorch代码搭建模型网络结构搭建,这一步的关键是根据对网络的描述实现对上述LHSE模块和TFAM模块的结构搭建:

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#aa5500">## 如下代码是使用torch对LHSE模块的搭建</span>
<span style="color:#770088">import</span> <span style="color:#000000">torch</span>
<span style="color:#770088">import</span> <span style="color:#000000">torch</span>.<span style="color:#000000">nn</span> <span style="color:#770088">as</span> <span style="color:#000000">nn</span>
<span style="color:#770088">import</span> <span style="color:#000000">torch</span>.<span style="color:#000000">nn</span>.<span style="color:#000000">functional</span> <span style="color:#770088">as</span> <span style="color:#000000">F</span>
<span style="color:#770088">class</span> <span style="color:#0000ff">LHSE</span>(<span style="color:#000000">nn</span>.<span style="color:#000000">Module</span>):
    <span style="color:#770088">def</span> <span style="color:#0000ff">__init__</span>(<span style="color:#0055aa">self</span>):
        <span style="color:#3300aa">super</span>(<span style="color:#000000">LHSE</span>, <span style="color:#0055aa">self</span>).<span style="color:#000000">__init__</span>()
        <span style="color:#0055aa">self</span>.<span style="color:#000000">conv1h</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Conv2d</span>(<span style="color:#116644">64</span>, <span style="color:#116644">64</span>, <span style="color:#000000">kernel_size</span><span style="color:#981a1a">=</span><span style="color:#116644">3</span>, <span style="color:#000000">stride</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">padding</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">bn1h</span>   <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">BatchNorm2d</span>(<span style="color:#116644">64</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">conv2h</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Conv2d</span>(<span style="color:#116644">64</span>, <span style="color:#116644">64</span>, <span style="color:#000000">kernel_size</span><span style="color:#981a1a">=</span><span style="color:#116644">3</span>, <span style="color:#000000">stride</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">padding</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">bn2h</span>   <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">BatchNorm2d</span>(<span style="color:#116644">64</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">conv3h</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Conv2d</span>(<span style="color:#116644">64</span>, <span style="color:#116644">64</span>, <span style="color:#000000">kernel_size</span><span style="color:#981a1a">=</span><span style="color:#116644">3</span>, <span style="color:#000000">stride</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">padding</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">bn3h</span>   <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">BatchNorm2d</span>(<span style="color:#116644">64</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">conv4h</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Conv2d</span>(<span style="color:#116644">64</span>, <span style="color:#116644">64</span>, <span style="color:#000000">kernel_size</span><span style="color:#981a1a">=</span><span style="color:#116644">3</span>, <span style="color:#000000">stride</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">padding</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">bn4h</span>   <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">BatchNorm2d</span>(<span style="color:#116644">64</span>)
​
        <span style="color:#0055aa">self</span>.<span style="color:#000000">conv1v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Conv2d</span>(<span style="color:#116644">64</span>, <span style="color:#116644">64</span>, <span style="color:#000000">kernel_size</span><span style="color:#981a1a">=</span><span style="color:#116644">3</span>, <span style="color:#000000">stride</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">padding</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">bn1v</span>   <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">BatchNorm2d</span>(<span style="color:#116644">64</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">conv2v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Conv2d</span>(<span style="color:#116644">64</span>, <span style="color:#116644">64</span>, <span style="color:#000000">kernel_size</span><span style="color:#981a1a">=</span><span style="color:#116644">3</span>, <span style="color:#000000">stride</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">padding</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">bn2v</span>   <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">BatchNorm2d</span>(<span style="color:#116644">64</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">conv3v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Conv2d</span>(<span style="color:#116644">64</span>, <span style="color:#116644">64</span>, <span style="color:#000000">kernel_size</span><span style="color:#981a1a">=</span><span style="color:#116644">3</span>, <span style="color:#000000">stride</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">padding</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">bn3v</span>   <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">BatchNorm2d</span>(<span style="color:#116644">64</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">conv4v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">Conv2d</span>(<span style="color:#116644">64</span>, <span style="color:#116644">64</span>, <span style="color:#000000">kernel_size</span><span style="color:#981a1a">=</span><span style="color:#116644">3</span>, <span style="color:#000000">stride</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>, <span style="color:#000000">padding</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>)
        <span style="color:#0055aa">self</span>.<span style="color:#000000">bn4v</span>   <span style="color:#981a1a">=</span> <span style="color:#000000">nn</span>.<span style="color:#000000">BatchNorm2d</span>(<span style="color:#116644">64</span>)
​
    <span style="color:#770088">def</span> <span style="color:#0000ff">forward</span>(<span style="color:#0055aa">self</span>, <span style="color:#000000">left</span>, <span style="color:#000000">down</span>):
        <span style="color:#770088">if</span> <span style="color:#000000">down</span>.<span style="color:#000000">size</span>()[<span style="color:#116644">2</span>:] <span style="color:#981a1a">!=</span> <span style="color:#000000">left</span>.<span style="color:#000000">size</span>()[<span style="color:#116644">2</span>:]:
            <span style="color:#000000">down</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">interpolate</span>(<span style="color:#000000">down</span>, <span style="color:#000000">size</span><span style="color:#981a1a">=</span><span style="color:#000000">left</span>.<span style="color:#000000">size</span>()[<span style="color:#116644">2</span>:], <span style="color:#000000">mode</span><span style="color:#981a1a">=</span><span style="color:#aa1111">'bilinear'</span>)
        <span style="color:#000000">out1h</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">relu</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">bn1h</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">conv1h</span>(<span style="color:#000000">left</span> )), <span style="color:#000000">inplace</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>)
        <span style="color:#000000">out2h</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">relu</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">bn2h</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">conv2h</span>(<span style="color:#000000">out1h</span>)), <span style="color:#000000">inplace</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>)
        <span style="color:#000000">out1v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">relu</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">bn1v</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">conv1v</span>(<span style="color:#000000">down</span> )), <span style="color:#000000">inplace</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>)
        <span style="color:#000000">out2v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">relu</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">bn2v</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">conv2v</span>(<span style="color:#000000">out1v</span>)), <span style="color:#000000">inplace</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>)
        <span style="color:#000000">fuse</span>  <span style="color:#981a1a">=</span> <span style="color:#000000">out2h</span><span style="color:#981a1a">*</span><span style="color:#000000">out2v</span>
        <span style="color:#000000">out3h</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">relu</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">bn3h</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">conv3h</span>(<span style="color:#000000">fuse</span> )), <span style="color:#000000">inplace</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>)<span style="color:#981a1a">+</span><span style="color:#000000">out1h</span>
        <span style="color:#000000">out4h</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">relu</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">bn4h</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">conv4h</span>(<span style="color:#000000">out3h</span>)), <span style="color:#000000">inplace</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>)
        <span style="color:#000000">out3v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">relu</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">bn3v</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">conv3v</span>(<span style="color:#000000">fuse</span> )), <span style="color:#000000">inplace</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>)<span style="color:#981a1a">+</span><span style="color:#000000">out1v</span>
        <span style="color:#000000">out4v</span> <span style="color:#981a1a">=</span> <span style="color:#000000">F</span>.<span style="color:#000000">relu</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">bn4v</span>(<span style="color:#0055aa">self</span>.<span style="color:#000000">conv4v</span>(<span style="color:#000000">out3v</span>)), <span style="color:#000000">inplace</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>)
        <span style="color:#770088">return</span> <span style="color:#000000">out4h</span>, <span style="color:#000000">out4v</span>
​
    <span style="color:#770088">def</span> <span style="color:#0000ff">initialize</span>(<span style="color:#0055aa">self</span>):
        <span style="color:#000000">weight_init</span>(<span style="color:#0055aa">self</span>)</span></span>

步骤三:

整体训练框架搭建,该步骤主要包含对数据集的处理和加载、loss的梯度更新等

<span style="background-color:#f8f8f8"><span style="color:#333333"><span style="color:#aa5500"># 定义训练函数</span>
<span style="color:#770088">def</span> <span style="color:#0000ff">train</span>(<span style="color:#000000">train_loader</span>, <span style="color:#000000">model</span>, <span style="color:#000000">criterion1</span>,<span style="color:#000000">optimizer</span>, <span style="color:#000000">epoch</span>, <span style="color:#000000">params</span>,<span style="color:#000000">global_step</span>):
    <span style="color:#000000">metric_monitor</span> <span style="color:#981a1a">=</span> <span style="color:#000000">MetricMonitor</span>()  <span style="color:#aa5500"># 初始化指标监视器</span>
    <span style="color:#000000">model</span>.<span style="color:#000000">train</span>()  <span style="color:#aa5500"># 设置模型为训练模式</span>
    <span style="color:#000000">stream</span> <span style="color:#981a1a">=</span> <span style="color:#000000">tqdm</span>(<span style="color:#000000">train_loader</span>,<span style="color:#000000">desc</span><span style="color:#981a1a">=</span><span style="color:#aa1111">'processing'</span>,<span style="color:#000000">colour</span><span style="color:#981a1a">=</span><span style="color:#aa1111">'CYAN'</span>)  <span style="color:#aa5500"># 创建数据加载器的进度条</span>
    <span style="color:#770088">for</span> <span style="color:#000000">i</span>, (<span style="color:#000000">images</span>, <span style="color:#000000">masks</span>,<span style="color:#000000">_</span>) <span style="color:#770088">in</span> <span style="color:#3300aa">enumerate</span>(<span style="color:#000000">stream</span>, <span style="color:#000000">start</span><span style="color:#981a1a">=</span><span style="color:#116644">1</span>):  <span style="color:#aa5500"># 遍历数据加载器</span>
        <span style="color:#000000">images</span> <span style="color:#981a1a">=</span> <span style="color:#000000">images</span>.<span style="color:#000000">cuda</span>(<span style="color:#000000">non_blocking</span><span style="color:#981a1a">=</span><span style="color:#000000">params</span>[<span style="color:#aa1111">'non_blocking_'</span>])  <span style="color:#aa5500"># 将图像数据传输到GPU</span>
        <span style="color:#000000">masks</span> <span style="color:#981a1a">=</span> <span style="color:#000000">masks</span>.<span style="color:#000000">cuda</span>(<span style="color:#000000">non_blocking</span><span style="color:#981a1a">=</span><span style="color:#000000">params</span>[<span style="color:#aa1111">'non_blocking_'</span>])  <span style="color:#aa5500"># 将掩码数据传输到GPU</span>
        <span style="color:#000000">reg_outs</span> <span style="color:#981a1a">=</span> <span style="color:#000000">model</span>(<span style="color:#000000">images</span>)  <span style="color:#aa5500"># 通过模型前向传播图像数据</span>
        <span style="color:#000000">reg_outs</span> <span style="color:#981a1a">=</span> <span style="color:#000000">torch</span>.<span style="color:#000000">sigmoid</span>(<span style="color:#000000">reg_outs</span>)  <span style="color:#aa5500"># 应用Sigmoid激活函数</span>
        <span style="color:#000000">loss</span> <span style="color:#981a1a">=</span> <span style="color:#000000">criterion1</span>(<span style="color:#000000">reg_outs</span>, <span style="color:#000000">masks</span>)  <span style="color:#aa5500"># 计算损失</span>
        <span style="color:#000000">optimizer</span>.<span style="color:#000000">zero_grad</span>()  <span style="color:#aa5500"># 清空优化器的梯度</span>
        <span style="color:#000000">loss</span>.<span style="color:#000000">backward</span>()  <span style="color:#aa5500"># 反向传播计算梯度</span>
        <span style="color:#000000">optimizer</span>.<span style="color:#000000">step</span>()  <span style="color:#aa5500"># 更新模型参数</span>
        <span style="color:#000000">global_step</span> <span style="color:#981a1a">+=</span> <span style="color:#116644">1</span>  <span style="color:#aa5500"># 增加全局步数</span>
 
<span style="color:#aa5500"># 定义训练和验证函数</span>
<span style="color:#770088">def</span> <span style="color:#0000ff">train_and_validate</span>(<span style="color:#000000">model</span>, <span style="color:#000000">optimizer</span>,<span style="color:#000000">train_dataset</span>,<span style="color:#000000">val_dataset</span>, <span style="color:#000000">params</span>,<span style="color:#000000">epoch_start</span> <span style="color:#981a1a">=</span> <span style="color:#116644">1</span>,<span style="color:#000000">best_acc</span><span style="color:#981a1a">=</span><span style="color:#116644">0</span>):
    <span style="color:#000000">train_loader</span> <span style="color:#981a1a">=</span> <span style="color:#000000">DataLoader</span>(  <span style="color:#aa5500"># 创建训练数据加载器</span>
        <span style="color:#000000">train_dataset</span>,
        <span style="color:#000000">batch_size</span><span style="color:#981a1a">=</span><span style="color:#000000">params</span>[<span style="color:#aa1111">"batch_size"</span>],  <span style="color:#aa5500"># 指定批量大小</span>
        <span style="color:#000000">shuffle</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>,  <span style="color:#aa5500"># 随机打乱数据</span>
        <span style="color:#000000">num_workers</span><span style="color:#981a1a">=</span><span style="color:#000000">params</span>[<span style="color:#aa1111">"num_workers"</span>],  <span style="color:#aa5500"># 指定工作进程数</span>
        <span style="color:#000000">pin_memory</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>,  <span style="color:#aa5500"># 是否将数据固定在内存中</span>
        <span style="color:#000000">drop_last</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>,  <span style="color:#aa5500"># 是否丢弃最后一个不完整的批量</span>
    )
    <span style="color:#000000">val_loader</span> <span style="color:#981a1a">=</span> <span style="color:#000000">DataLoader</span>(  <span style="color:#aa5500"># 创建验证数据加载器</span>
        <span style="color:#000000">val_dataset</span>,
        <span style="color:#000000">batch_size</span><span style="color:#981a1a">=</span><span style="color:#000000">params</span>[<span style="color:#aa1111">"test_batch_size"</span>],  <span style="color:#aa5500"># 指定批量大小</span>
        <span style="color:#000000">shuffle</span><span style="color:#981a1a">=</span><span style="color:#770088">False</span>,  <span style="color:#aa5500"># 不随机打乱数据</span>
        <span style="color:#000000">num_workers</span><span style="color:#981a1a">=</span><span style="color:#000000">params</span>[<span style="color:#aa1111">"num_workers"</span>],  <span style="color:#aa5500"># 指定工作进程数</span>
        <span style="color:#000000">pin_memory</span><span style="color:#981a1a">=</span><span style="color:#770088">True</span>,  <span style="color:#aa5500"># 是否将数据固定在内存中</span>
        <span style="color:#000000">drop_last</span><span style="color:#981a1a">=</span><span style="color:#770088">False</span>,  <span style="color:#aa5500"># 不丢弃最后一个不完整的批量</span>
    )
    <span style="color:#aa5500"># 定义损失函数</span>
    <span style="color:#000000">criterion_1</span> <span style="color:#981a1a">=</span> <span style="color:#000000">WeightedDiceBCE</span>(<span style="color:#000000">dice_weight</span><span style="color:#981a1a">=</span><span style="color:#116644">5</span>,<span style="color:#000000">BCE_weight</span><span style="color:#981a1a">=</span><span style="color:#116644">5</span>).<span style="color:#000000">cuda</span>()
    <span style="color:#000000">global_step</span> <span style="color:#981a1a">=</span> <span style="color:#116644">0</span>  <span style="color:#aa5500"># 初始化全局步数为0</span>
    <span style="color:#770088">for</span> <span style="color:#000000">epoch</span> <span style="color:#770088">in</span> <span style="color:#3300aa">range</span>(<span style="color:#000000">epoch_start</span>, <span style="color:#000000">params</span>[<span style="color:#aa1111">"epochs"</span>] <span style="color:#981a1a">+</span> <span style="color:#116644">1</span>):  <span style="color:#aa5500"># 遍历指定的训练周期</span>
        <span style="color:#000000">train</span>(<span style="color:#000000">train_loader</span>, <span style="color:#000000">model</span>,<span style="color:#000000">criterion_1</span>,<span style="color:#000000">optimizer</span>, <span style="color:#000000">epoch</span>, <span style="color:#000000">params</span>,<span style="color:#000000">global_step</span>)  <span style="color:#aa5500"># 调用训练函数</span>
​</span></span>

需要本文的详细复现过程的项目源码、数据和预训练好的模型可从该地址处获取完整版:地址

​​

希望对你有帮助!加油!

若您认为本文内容有益,请不吝赐予赞同并订阅,以便持续接收有价值的信息。衷心感谢您的关注和支持!

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

相关推荐

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统

船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。

专注于计算机研发知识和资讯分享 537

【计算机视觉 | Transformer】arxiv 计算机视觉关于Transformer的学术速递(9 月 19 日论文合集)

【计算机视觉 | Transformer】arxiv 计算机视觉关于Transformer的学术速递(9 月 19 日论文合集)

wzk4869的博客 849

5分钟搞懂MSDNet:用Transformer实现小样本语义分割的保姆级教程

本文详细介绍了MSDNet(Multi-Scale Decoder Network)如何利用Transformer架构实现小样本语义分割。通过多尺度解码器和空间Transformer解码器,MSDNet能够在仅有1-5张标注图像的情况下完成精确分割任务。文章提供了PyTorch代码实例和优化技巧,帮助开发者快速掌握这一前沿技术。

weixin_30832143的博客 506

揭秘AI如何揪出图片中的“李鬼

在如今这个“P图大神”遍地走的时代,图片的真实性越来越难以保证。尤其是在文档图像领域,篡改文字、伪造证书等行为可能带来严重的风险。想象一下,你正准备签一份重要合同,却发现附件中的资质证书似乎有点不对劲。是的,你没猜错,这正是图像篡改的“作案现场”。文字图像篡改,听起来是不是很像电影里的高级犯罪?但这可不仅仅是电影情节,它真实地发生在我们的数字生活中。文档图像篡改指的是对文档图像进行的未经授权的修改,包括文字、图表、印章等内容的删除、修改、添加或替换。当你怀疑一张图片被篡改时,你会怎么做?

是微风,是晚霞,是无可替代 1213

Cursor使用教程,有点难

Cursor Code Editor 不仅仅是一个代码编辑器,它更是一个集成了 AI 的全功能开发环境,帮助你从代码编写到优化的整个过程变得更加智能和高效。它通过内置的 AI 代码补全、错误检测和自动修复功能,大大减少了手动编写代码的负担,帮助你快速完成开发任务。同时,Cursor 还与多种前沿的 AI 大模型集成,包括 OpenAI 的 GPT-4o、Claude 3.5 和 Meta 的 Llama 3.1。

xiaofeitunAI的博客 1万+

GibbsCAM软件二次开发:GibbsCAM软件API接口详解

API(Application Programming Interface,应用程序编程接口)是一种允许不同软件之间进行通信的接口。在GibbsCAM软件中,API提供了与外部程序交互的能力,使得开发者可以利用GibbsCAM的强大功能进行二次开发,定制化满足特定的制造需求。GibbsCAM的API主要基于.NET框架,使用C#或VB.NET等语言进行编程。在GibbsCAM软件中,通过API接口创建自定义几何形状是实现复杂零件设计和加工策略定制的关键步骤。

kkchenjj的博客 1498

揭秘AI如何揪出图片中的“李鬼“

在如今这个“P图大神”遍地走的时代,图片的真实性越来越难以保证。尤其是在文档图像领域,篡改文字、伪造证书等行为可能带来严重的风险。想象一下,你正准备签一份重要合同,却发现附件中的资质证书似乎有点不对劲。是的,你没猜错,这正是图像篡改的“作案现场”。文字图像篡改,听起来是不是很像电影里的高级犯罪?但这可不仅仅是电影情节,它真实地发生在我们的数字生活中。文档图像篡改指的是对文档图像进行的未经授权的修改,包括文字、图表、印章等内容的删除、修改、添加或替换。当你怀疑一张图片被篡改时,你会怎么做?

2402_84445716的博客 946

元学习与Transformer的结合:Meta-Transformer架构解析

我们生活在一个信息爆炸的时代,每天都会产生海量的数据。在深度学习领域,如何让模型更高效地学习、更快地适应新的任务,一直是科学家们努力的方向。元学习和Transformer都是深度学习中的重要概念,它们各自有着独特的优势。本文的目的就是深入剖析将元学习和Transformer结合起来的Meta - Transformer架构,探讨它的原理、应用以及未来发展。我们会从基础概念讲起,逐步深入到架构的各个方面,让大家对Meta - Transformer有一个全面的了解。

AI智能探索者的博客 1055

【传知代码】揭秘AI如何揪出图片中的“李鬼”(论文复现)

在如今这个“P图大神”遍地走的时代,图片的真实性越来越难以保证。尤其是在文档图像领域,篡改文字、伪造证书等行为可能带来严重的风险。想象一下,你正准备签一份重要合同,却发现附件中的资质证书似乎有点不对劲。是的,你没猜错,这正是图像篡改的“作案现场”,然而,我们必须强调的是,尽管我们的模型在检测文字图像篡改方面具有较高的准确率,但它并不是万能的。AI的能力受限于其训练的数据和算法的设计。在检测物体擦除或人脸P图等更为复杂的图像篡改时,我们的模型可能无法提供同样准确的结果。

ztK63LrD的博客 1386

使用C++实现DNS欺骗攻击

其中,domain_name表示需要欺骗的域名,dns_server_ip表示实际DNS服务器的IP地址,fake_ip表示需要重定向到的IP地址。在DNS查询过程中,当客户端向DNS服务器请求解析某个域名时,DNS服务器会返回该域名对应的IP地址。DNS劫持是一种常见的网络攻击方式,通过篡改DNS响应数据,使得用户访问的网站被重定向到攻击者指定的恶意站点。我们使用C++编写一个简单的DNS欺骗程序,使得当客户端请求解析特定的域名时,我们可以将其重定向到指定的IP地址。使用C++实现DNS欺骗攻击。

TechGlide的博客 414

【AI智能体】AI 编程 + 飞书CLI + Skills 重塑开发新范式实战操作详解

AI 编程 + 飞书CLI + Skills 重塑开发新范式实战操作详解

congge 3668

AI侦探:揭示图像篡改的秘密与检测技术

在如今这个“P图大神”遍地走的时代,图片的真实性越来越难以保证。尤其是在文档图像领域,篡改文字、伪造证书等行为可能带来严重的风险。想象一下,你正准备签一份重要合同,却发现附件中的资质证书似乎有点不对劲。是的,你没猜错,这正是图像篡改的“作案现场”。文字图像篡改,听起来是不是很像电影里的高级犯罪?但这可不仅仅是电影情节,它真实地发生在我们的数字生活中。文档图像篡改指的是对文档图像进行的未经授权的修改,包括文字、图表、印章等内容的删除、修改、添加或替换。当你怀疑一张图片被篡改时,你会怎么做?

博客之路,前途漫漫 2392

Windows 下 OpenClaw(小龙虾) 安装全记录:从零到一的保姆级图文教程(持续更新中)

本文主要介绍了Windows 下 OpenClaw 安装全记录:从零到一的保姆级图文教程,希望能对学习使用OpenClaw 的同学们有所帮助。 文章目录 1. 背景 2. 实战教程 2.1 步骤一 安装Node.js 2.2 步骤二:安装并配置OpenClaw 2.3 步骤三:配置模型 2.4 步骤四:对话 3. 后续使用步骤

weixin_43178406的博客 16万+

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 341

ADS1115 0-10V高精度ADC模块原理图设计,已量产

在水质监测、智能气象站、环境感知等领域,0-10V 电压输出的传感器占据了重要地位。这类传感器输出信号稳定、抗干扰能力强,但对数据采集模块的精度、线性度和易用性提出了严苛要求。本文将深度解析一款专为 0-10V 传感器设计的高精度 ADC 模块,从硬件架构、性能指标到工程化实践,全面呈现其设计思路与核心价值。

不脱发的程序猿 285

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 280

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 616

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 209

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 345

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 363

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 87

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 163

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 514

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 619

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

408

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 402
上一篇: 【论文】命名实体识别
下一篇: 检测图像P图痕迹(论文复现)
Srlua小谢
Srlua小谢 优质创作者: 编程框架技术领域 优质创作者: 编程框架技术领域
博客等级 码龄4年 8963粉丝 332原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值