SOFT-MASK-BERT 总结

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 600+累计阅读 648平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄9年

关注

原创最新推荐文章于 2026-03-25 01:52:34 发布 648 阅读 AI 写同款· GEO 优化 ›

Bert不完全手册7. 为Bert注入知识的力量 Baidu-ERNIE & THU-ERNIE & KBert 在知识融入上，首先原始文本输入会过T-Encoder得到考虑上下文的文本表征，然后会通过K-Encoder中的多个Aggregator层进行知识融合，这里的知识融合包括知识表征和文本表征的对齐以及双方的信息交互。Soft-PE就是保持原始句子的位置编码不变，对于插入的知识会从实体的位置开始向后顺延，于是会存在重复的PE，例如is在原始句子中的位置id是3，CEO对应的实体是TimCook位置是2，顺延后位置id也是3，他们的位置编码就是相同的，这样就解决了以上的问题1。... 阅读详情

SOFT-MASK-BERT 总结

收录于

当前文章被以下社区和专栏收录：

标签

#自然语言处理 #tensorflow #深度学习 #神经网络 #机器学习

CCKS2020笔记推进语言模型的前沿研究 CCKS2020-推进语言模型的前沿研究 - 李航 - 字节跳动 past: n-gram 马尔可夫 present：预训练模型： RNN Transformer GPT：链式法则 Bert：bidirectional language model 、mask 模型更复杂，表示能力更强，应用在语言理解任务里。 they work： 1、Soft-mask Bert 中文错别字纠正检测能力：GRU 纠错能力：Bert 2、AMBERT(a multi-grained bert 阅读详情

相关推荐

Soft-Masked-Bert网络细节解读

大家好，我是隔壁小王。 Soft-Masked-Bert是复旦大学和字节跳动联合发布的在bert基础上针对文本纠正的网络模型，这里对其细节进行一个梳理。考虑到我另外一个网络中有讲过bert的细节，因此这里姑且把bert作为一个黑盒，详细介绍下smbert相比与bert改动的部分。首先上图：别看它这个图挺唬人，其实改动非常简单，该网络主要加入的是一个错别字的检测网络部分也就是图中的Detection Nerwork。假设输入的句长是128，embedding后的维度是768，batchs

BmwGaara的博客 2927

Unity3D Soft Mask 软遮罩插件

和常用的 Mask 和 RectMask2D 组件一样，SoftMask 也可以用来对 Image、RawImage 等图形单元进行遮罩，仅显示部分区域，不过相对于传统的遮罩，SoftMask 的区域便于更加的平滑，也可以理解为是渐进式遮罩，往往可以通过它来实现一些边缘羽化等效果...

加载中... 8564

Unity 工具之 SoftMask软遮罩实现 UI 边缘渐变过渡的简单使用介绍

目录Unity 工具之 SoftMask软遮罩实现 UI 边缘渐变过渡的简单使用介绍一、简单介绍二、Mask 实现的遮罩效果三、Soft Mask 实现遮罩效果四、 Soft Mask 的一些设置五、插件下载Unity 工具类，自己整理的一些游戏开发可能用到的模块，单独独立使用，方便游戏开发。

仙魁XAN 8575

Soft Mask（软遮罩）技术

SoftMask是一款专为Unity设计的高级遮罩工具，它突破了传统Mask的限制，提供了更为灵活和细腻的UI遮罩解决方案。与传统的硬边遮罩效果不同，SoftMask通过利用图像的灰度信息，能够创造出平滑的边缘过渡效果，使得遮罩区域与非遮罩区域之间的过渡更加自然流畅。这种技术尤其适用于需要细腻视觉体验的UI设计中，如淡入淡出、模糊边界或是复杂形状的过渡效果。

大摆王的博客 3138

【Unity 实用工具篇】 | Unity中的软遮罩组件 SoftMaskForUGUI 快速上手使用

在Unity开发中，Mask组件是项目中的高频使用组件。比如在实现ScrollView的滑动功能时，就必须依赖Mask组件来创建遮罩效果。另一个典型应用场景是制作玩家头像，通常我们会通过添加圆形遮罩来实现圆形头像的显示效果。然而，标准Mask组件存在一个明显缺陷：其硬边遮罩效果会导致边缘出现生硬的割裂感，这在大多数项目中都是不可接受的。为此，本文将介绍Mask组件的优质替代方案——SoftMask组件。接下来我们将详细解析该组件的特性及使用方法。

努力前行，总会成为自己心中的那道光 5万+

Unity Soft Mask v1.5

unity3d软遮罩SoftMask, 它的工作原理几乎与标准 Unity 的 UI 遮罩一样，但支持渐变和半透明。

Soft-Masked Bert论文阅读记录

文章目录Soft-Masked Bert论文阅读记录论文地址论文介绍论文原理检测网络Soft Masking纠错网络模型的训练论文实验结果实验数据实验结果 Soft-Masked Bert论文阅读记录论文地址 Soft-Masked Bert 论文介绍文本纠错，是自然语言处理领域检测一段文字是否存在错别字、以及将错别字纠正过来的技术，一般用于文本预处理阶段，同时能显著缓解智能客服等场景下语音识别（ASR）不准确的问题。 Soft-Masked Bert的大致原理是基于Bert从句子中的每一个字的候选字组

qq_33599158的博客 1059

Unity3D实现mask遮罩的脚本1

Unity3D实现mask遮罩的脚本 Posted on 2013年04月07日 by U3d / Unity3D脚本/插件/被围观 259 次 Unity3D

confusion中文_ACL2020笔记之中文拼写检测（Chinese Spell Check）

第一篇来自字节跳动[1]，之前也有介绍啦，下面跳转门Giant：Soft-Masked BERT：文本纠错与BERT的最新结合下面就补充一点我的浅薄理解：整体框架是 Detection + Correction 的流程。和之前工作的区别，在于下面的这种correction部分的“soft-mask”：按照以往的思路，输入句子里的每个字都是直接获取embedding完事，相当于直接使用了e_i。 ...

weixin_42401137的博客 753

ARM 汇编指令：LSL（逻辑左移）和 LSR（逻辑右移）

ARM 汇编中的 LSL（逻辑左移）和 LSR（逻辑右移）是基础移位指令，分别实现二进制位的左移和右移操作。LSL 低位补0，等效于乘以2^n；LSR 高位补0，等效于无符号除以2^n。这两个指令可以单独使用或与其他指令结合（如ADD、MOV等），利用ARM的"桶形移位器"硬件实现高效运算。关键特性包括：移位范围0-31（LSL）或1-32（LSR），可选更新标志位，以及与其他指令结合时的无额外开销优势。LSR与ASR（算术右移）的主要区别在于高位填充方式，分别适用于无符号和有符号数处理

guigenyi的专栏 1810

QEMU pcie config空间访问机制

而pci_host_conf/data_le_ops的定义是在hw/pci/pci-host.c里，对于0xCF8端口的处理，因为是地址选通，所以只需要在write的时候记录、read的时候返回记录的值即可。而pci_host_config_write/read_common接口，在前256Bconfig空间的模拟中，也同样是会调用这个接口，所以后续的处理都是一样的。这是真实的硬件设计，而对于QEMU+KVM的虚机场景，显然是要基于硬件实现和虚拟化的需求设计虚机访问config空间的完整流程。

leiyanjie8995的博客 1952

K-BERT: Enabling Language Representation with Knowledge Graph阅读笔记

最近实验室要做预训练语言模型和知识图谱结合的交互式智能的研究，于是读了这篇北大与腾讯联合发表的K-BERT: Enabling Language Representation with Knowledge Graph。文章把知识图谱（KG）应用在BERT中创建了K-BERT模型，用以解决BERT模型在专业领域表现不佳的问题，一举解决了HES和KN两大问题。 K-BERT模型主要包括四部分：Kno...

Kolunm的博客 2201

5G NR PDCCH实战解析：从DCI格式到CORESET配置的完整指南

本文深入解析5G NR PDCCH的实战配置，涵盖DCI格式选择、CORESET配置及Search Space优化等关键内容。基于3GPP R16标准，提供现网部署中的典型问题解决方案，如覆盖边缘失步、多用户调度冲突等，帮助提升控制信令传输效率。特别针对5G NR PDCCH的灵活资源分配和自适应编码机制进行详细探讨。

weixin_29231263的博客 498

中文纠错（Chinese Spelling Correct）最新技术方案总结

目录1 传统技术2 深度学习技术2.1 FASPell2.1.1 技术方案2.1.2 优点和缺点2.2 SpellGCN2.2.1 技术方案2.2.2 优点和缺点2.3 Soft-Mask BERT2.3.1 技术方案2.3.2 优点和缺点2.4 Stand-alone2.4.1 技术方案2.4.2 优点和缺点2.5 Spelling Correction as a Foreign Language2.5.1 技术方案2.5.2 优点和缺点2.6 Hierarchical Attention2.6.1

BGoodHabit的博客 1万+

KT148A语音芯片SOP外挂功放芯片8002D的说明_V1

KT148A语音芯片内置8欧姆0.5W的功放，所以一般的应用场景，播放一些提示音音量是足够的。但是有的需求还需要驱动更大的扬声器，实现更大的播放音量，这里我们给出解决方案。KT148A+HAA8002D的组合

qyvhome的博客 2148

RocketMQ 5.3.1 集成 Spring Boot 3.4.3 就这么简单

RocketMQ 是一个分布式消息中间件，支持发布/订阅模型，具有高吞吐量、高可用性和事务消息等特性。它广泛应用于日志处理、订单系统和异步任务等场景。Spring Boot 3.4.3 集成 RocketMQ 5.3.1 的过程异常简单，仅需少量配置即可实现消息的生产和消费。本文从环境搭建到代码实现，覆盖了核心步骤。

lssffy的博客 1385

【论文阅读】Spelling Error Correction with Soft-Masked BERT

使用Soft-Masked BERT完成中文拼写纠错(Chinses Spell Checking, CSC)任务，并且该方法也适用于其他语言。Soft-Masked BERT = 双向GRU(Bi-GRU) + BERT其中Bi-GRU负责预测哪个地方有错误，BERT负责对错误进行修正。

iioSnail的博客 1746

JavaSpringBoot + VUE 相关开发环境配置合集

1.Java环境-JDK安装参照：Java基础1-环境篇：JDK安装与环境变量配置 Java基础1-环境篇：JDK安装与环境变量配置_第一段代码的博客-优快云博客_jdk 2.Web服务器-Tomcat安装原创Java服务器Tomcat安装和配置 3.Maven(后面为了项目兼容性,使用了3.0.5版本) 原创Maven安装和配置（Maven3.0.5） 4.nginx 原创nginx轻量级Web服务器安装和配置 5 数据库mysql 原创数据库Mysql安装和配置 ...

第一段代码的博客 3163

《Spelling Error Correction with Soft-Masked BERT》阅读记录

《Spelling Error Correction with Soft-Masked BERT》 To be published at ACL 2020.2020.5.15 链接：https://arxiv.org/abs/2005.07421 摘要彼时CSC的SOTA方法：在语言表示模型BERT的基础上，在句子的每个位置从候选词列表中选择一个字符进行纠正(包括不纠正)。但这一方法能力不是最强悍的，因为BERT本身没有足够的能力来检测每个位置是否有错误，显然是由于使用掩码语言建模对其进.

星垂平野阔 639

手把手教你玩转服务器芯片架构专栏--3.5 实战案例：用SystemC搭建一个多核服务器芯片的NoC模型（含流量分配与延迟仿真）

通过SystemC搭建多核NoC模型，可深入验证流量分配策略与延迟特性。实际工程中需结合FPGA原型验证（如Xilinx Alveo）进行时序收敛分析，并通过参数化设计适配不同服务器芯片需求。

MHD0815的博客 3043

实用指南：制作通用的INCA和CANape兼容A2L文件

A2L（ASAM MCD-2 Measurement and Calibration Data）文件是描述ECU（电子控制单元）测量和校准数据的标准文件格式。在标定工作中，A2L文件扮演着极为重要的角色，它定义了测量通道、校准参数等关键信息，为工程师提供了统一的描述方式。INCA和CANape是两种常见的汽车电子系统标定工具，分别由ETAS和Vector公司开发。它们在汽车电子系统的开发和调试过程中发挥着重要作用，提供了丰富的标定功能和用户友好的界面。

一直在水些技术小文 2923

Soft-Masked BERT：文本纠错与BERT的最新结合

文本纠错，是自然语言处理领域检测一段文字是否存在错别字、以及将错别字纠正过来的技术，一般用于文本预处理阶段，同时能显著缓解智能客服等场景下语音识别（ASR）不准确的问题。本文将通过以下几个章节简要介绍文本纠错相关知识。 1. 文本纠错示例与难点 2. 文本纠错常用技术 3. 如何将 BERT 应用于文本纠错 4. 文本纠错最优模型：Soft-Masked BERT（2020-ACL） 5. 立马上手的纠错工具推荐一.文本纠错示例与难点生活中常见的文本错误可以分为（1）字形相似引起的错误...

张伟的专栏 1380

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

文本纠错与BERT的最新结合,Soft-Masked BERT

向AI转型的程序员都关注了这个号????????????机器学习AI算法工程公众号：datayx文本纠错相关资料1.http://www.doc88.com/p-803870892...

datayx的文章 5019

汉书HE8，好用的汇编代码编写工具

汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Spelling Error Correction with Soft-Masked BERT(ACL2020)

目前该任务的最先进的方法是基于BERT(语言表示模型)从句子的每个位置的候选字符列表中选择一个字符进行纠正(包括非纠正)。然而，作者认为该方法的准确性可能不是最优的，因为BERT没有足够的能力来检测每个位置是否存在错误，这显然是由于使用掩语言建模(mask language model)的预训练方式(在BERT的预训练中，只有15%的字符被屏蔽用于预测，导致学习的模型不具备足够的错误检测能力)。

695

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

上一篇： 2020-12-19

下一篇： Spell Correct

Soft-Masked-Bert网络细节解读

BmwGaara的博客

11-04

2927