Lmoermo的博客

1 纠错基础知识 1.1 常见错误类型 1.2 纠错组成模块 2 深度学习技术 2.1 FASPell（爱奇艺） 2.1.1 技术方案 2.1.1.1 背景 2.1.1.2 模型结构 2.1.1.3 训练过程 2.1.2 优点和缺点 2.2 SpellGCN （阿里） 2.2.1 技术方案 2.2.1.1 背景 2.2.1.2 模型结构 2.2.1.3 训练过程 2.2

深度模型剪枝实现以及一些网络优化技巧模型剪枝：Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017). 基于论文的代码复现以及拓展： 在网络上中加入其它优化方法 最强深度学习优化器Ranger warm up与consine learning rate 为什么使用warmup? label smooth apex混合精度训练 梯度累加 其他网络部署的

125|0%| | 0/1 [00:00<?, ?it/s] 0%| | 0/1 [03:24<?, ?it/s]126|Traceback (most recent call last):127|File "/nfs/volume-826-2/carlos/0830_dector/ja/AA_gector-master/train.py", line 305, in <module>128|args = parser.parse_args()129|Fil...

AllenNLP另外很重要的一点在于，它在torch的model的基础上添加了很多的方法，使得模型更加适用于NLP场景的使用。AllenNLP设计模型的思想在于：输出为dict格式，里面必须包含loss，其余则由我们自行决定。因此输出相比传统的pytorch模型，输出更加的丰富，我们可以把我们任何想要的信息都通过这个字典返回~model.py文件有370多行，大体上需要注意的是__init__ 里要传入vocab与regularizer get_regularization_penal

目前在做日语纠错任务，主要是为了解决公司query召回率低的问题，目前可行的方案有下面几个：一个是科大讯飞的那个gector模型 ，他主要是利用了bert或者Robert来做特征提取，然后会在最后接上两个全链接网络，分别用来输出每个日语单词纠正的对象可他们本身错误的概率值信息，通过对他们的结果分别求得一个loss值来进行反向梯度传递，不断进行训练以此达到最优值，其中错误数据的是我通过罗马音和编辑距离为一的一些词进行随机的替换构成的，以此来模仿真实地错误数据。未完待续。。另外一个就是根据Be...