[ACL2016]Pointing the Unknown Words

探讨了NLP系统中稀疏词与未登录词的问题,介绍了如何通过使用短列表词汇和复制源句子中的词来改善机器翻译效果,提出了双softmax层及切换网络的概念。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在很多NLP系统中,包括传统计数和深度学习模型中,稀疏词和未登录词的处理是一个很重要的问题,模型中用了两个softmaxt层用于预测条件语言模型中的next word,
其的生成有两种来源(1)原句子中的token(原句子指的是input sentence), (2)shortlist vocabulary(如果任务是机器翻译,shortlist vocabulary 是目标语言中部分词)
shortlist vocabulary的来源:以往的机器翻译任务,只有一个输出层,以我们的想法,输出层的维度是目标语言中单词的个数,这就产生了一个问题,如果目标语言单词量非常大,而且输出层是one-hot表示,那么输出层的神经元细胞数量也将非常大(假设有一万个单词,那么有一万个神经元),就大大增加了计算代价,所以就定义了word-shortlist , 将训练集中target language 频率很高的K个词放到word-shortlist中,其他词用UNK 表示
这种表示方法又有两种问题:(1)shortlist中一些词在 training data 中是rare word, 很难对其学一个好的representation, 导致性能不佳.(2)把很多词表示成UNK会丢失很多信息,即便是扩大shortlist的量这个问题也不能避免

在很多给出source sentence预测target text的NLP任务中,发现这样一种现象,target text中的一些词出现在source sentence中,比如说日期,实体信息等,所以本文的思想是讲target text中的token来源分为两类,一类是从source sentence中复制,另一类就是从shortlist中生成

目前解决稀疏词和未登录词目前做法可分为三类
(1)尽量提升速度,增加shortlist dictionary
(2) target text 中某些词 复制source sentence(本文属于此类)
(3) 从更小单元入手选择character 而非word

普通 attention 做机器翻译的框架 以及公式不做过多介绍,本文给出的框架如下:
这里写图片描述

网络框架有两个输出层:(1)普通的softmax层 (2)point softmax层
也就是说target sequence中next token的输出可能是输出层(1)的结果,也可能是(2)的结果,到底该选择用那个输出层生成next token 呢, 为了解决这个问题,本文引入了switching network, 该网络输出zt =1 时选择输出层(1),zt=0
时悬着point softmax输出层
特别注意的是如果要生成的词既不做shortlist中又不在context sequence中,就选择shortlist中的UNK

这里写图片描述

上图中的生成的这里写图片描述是两个输出层的输出结果。
这里写图片描述是switching network的输出结果

感觉自己写的太啰嗦了,下次大概说出paper的大概思想即可
明天更《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》两篇文章思路差不多,明天再说

### 如何下载适用于 Synaptics Pointing Device 的最新驱动程序 为了确保您的设备能够正常工作并获得最佳性能,建议按照以下方式获取最新的 Synaptics Pointing Device 驱动程序: #### 1. 访问制造商官方网站 Synaptics 官方网站提供了针对不同硬件型号的驱动支持。访问 [Synaptics 官方网站](https://www.synaptics.com/) 并导航到“Support”部分[^1]。在此页面中,您可以输入具体的硬件型号或操作系统版本来查找适合的驱动。 #### 2. 使用 Driver Genius 软件检测缺失驱动 如果不确定当前系统缺少哪些驱动程序,可以尝试使用第三方工具如 **Driver Genius** 来扫描和识别所需的驱动程序。此软件可以帮助自动检测并安装合适的 Synaptics Pointing Device 驱动程序[^1]。 #### 3. 手动下载特定版本驱动 如果您需要手动指定某个版本的驱动程序,可以通过以下链接找到历史版本: - 文件描述:Synaptics Pointing Device Driver - 版本号:1.0.0.4 (Prod version: 1.0.0.0)[^2] - 下载地址:[DriversWizard 提供的历史驱动列表](http://www.driverswizard.com/html/504614.html) 请注意,手动下载驱动时需验证其适用的操作系统以及文件签名信息以防止潜在的安全风险。 #### 4. 启用 Microsoft Precision Touchpad 支持 对于某些较新的笔记本电脑,可能需要额外配置才能完全利用 Synaptics 驱动的功能。参考文章说明如何通过 Windows 设置启用精确式触摸板功能[^3]: ```powershell Get-PnpDevice | Where-Object { $_.Class -eq "Touch" } Enable-PnpDevice -InstanceId "HID\VID_XXXX&PID_YYYY\ZZZ..." ``` #### 5. 解决常见错误提示 当遇到诸如“无法连接 synaptics 定点装置驱动程序”的问题时,通常可通过修复注册表项解决问题。具体操作如下[^4]: 1. 打开注册表编辑器 (`regedit`); 2. 导航至路径 `HKEY_LOCAL_MACHINE/SOFTWARE/Microsoft/Windows/CurrentVersion/Run`; 3. 创建字符串值名称为 `SynTPEnh`,数据填写为 `C:\Program Files\Synaptics\SynTP\SynTPEnh.exe`。 --- ### 注意事项 - 确认所使用的驱动与实际硬件兼容。 - 如果更新驱动后仍存在问题,请考虑恢复默认设置或将驱动回滚至上一稳定版本。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值