XiangJiaoJun_的博客

文章目录前言当推荐系统遇上知识图谱模型结构引入知识方法当文本匹配遇上知识图谱模型结构引入知识方法当预训练模型遇上知识图谱模型结构引入知识方法总结前言  NLP任务中，常见的做法是根据当前输入进行建模，进而设计出我们的模型，通常用到的信息只有当前局部的信息。这和人类最大的区别就是我们在理解语言的时候，我们会用到我们之前学习到的知识，比如说到“自然语言处理”，我们就可以联想到“文本匹配”、“阅读理解”、“BERT”等等，而我们会利用这些外部知识来加强自己的理解，如果没有用额外的知识，比如接触到我们一个不熟悉

文章目录为什么NLP网络中经常使用Adam优化器以及存在的问题NLP语言模型的特点Adam优化器的特点问题解决办法BERT的基本原理BERT为什么要取消NSP任务为什么BERT比ELMo效果好？ELMo和BERT的区别是什么？为什么BERT比ELMo效果好ELMo和BERT的区别是什么BERT有什么局限性BERT输入和输出分别是什么？BERT模型为什么要用Mask？如何做Mask？Mask和CBOW有什么异同点BERT模型为什么要用mask相对于CBOW有什么异同点针对中文BERT有什么能改进的地方atte

文章目录总结文本匹配的两种做法Representation-Based类模型最近系统性的看了一些有关于信息检索、文本匹配方向的论文，先贴下三篇主角论文：(ColBERT) Khattab, O., & Zaharia, M. (2020). ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT. ArXiv, abs/2004.12832. [PDF](P

目录总结论文笔记IntroductionCognitve Graph QA Framework输入数据的格式System 1系统一输入系统一输出论文链接如下Cognitive Graph for Multi-Hop Reading Comprehension at Scale论文链接总结  传统的MRC一般分为四个任务，完形填空（Cloze Test）、选择题（Multiple Ch...

  MXNet中，gluon.Block类和gluon.HybridBlock类，和Pytorch中的nn.Module类一样，我们通过继承Block类和HybridBlock类可以很灵活的搭建我们自己的网络模型，这里总结一下HybridBlock类使用过程中的一些注意点。HybridBlock类和Block类的区别  HybridBlock类继承至Block类，所以HybridBlock类有...

迁移学习 （Finetune） 中我们经常需要固定pretrained层的学习率，或者把其学习率设置比后面的网络小，这就需要我们对不同的层设置不同的学习率，这里总结一下实现设置每层学习率的方法。使用net.collect_params(‘re’).setattr(‘lr_mult’,ratio)方法  net.collect_params()将返回一个ParamterDict类型的变量，其中包...

  Faster-RCNN开创了基于锚框(anchors)的目标检测框架，并且提出了RPN(Region proposal network)，来生成RoI，用来取代之前的selective search方法。Faster-RCNN无论是训练/测试速度，还是物体检测的精度都超过了Fast-RCNN，并且实现了end-to-end训练。  从RCNN到Fast-RCNN再到Faster-RCNN，后...

  MXNet在目标检测提供了许多API供用户调用，灵活使用这些函数能大大降低编程难度，其中跟锚框有关的三个函数MultiBoxDetection、MultiBoxPrior、MultiBoxTarget，我也探索了一段时间，下面总结一下这三个函数的用法吧，也方便自己查阅常用函数MultiBoxPriorMultiBoxTargetMultiBoxDetectionMultiBoxPrior...

多尺度物体目标检测锚框生成过多的问题尺度如何在MXNet中生成多尺度的锚框总结锚框生成过多的问题  上一节学习到，我们是基于生成的锚框来预测物体类别和偏移量，而且我们对于一张原始图片，对于每个像素都会生成多个锚框。  问题：我们生成了大量的锚框，而在其中有大量的重复区域，造成了运算量过于复杂。那么如何减少我们的计算量呢？  其实很简单，我们只需要对原始图像均匀采样一小部分像素，并以采样的像...

  今天总结一下学习的SSD（single shot detector）单发多框物体检测框架，总的来说物体检测处理流程和图像分类的总体流程差不多，只不过多了很多细节。  总结一下，实现一个网络的基本流程：首先需要定义整体网络中小的功能块，比如说ResNet中的残差小块，GoogLeNet中的inception等，一些可以抽象出来的功能块。搞清楚每一层的输出形状，以及要进行的处理。比如说SS...

物体检测比图像分类的难度大得多，过程也复杂了许多。所以希望自己能将自己的学习过程记录下来，总结过程中也许会有不一样的体会。边界框  目标检测中，通常不止需要我们识别出物体的类别，还需要我们检测出物体的具体位置,所以我们常用边界框来描述物体的具体位置，具体来说通常情况下，我们用物体的左上角 x,yx,yx,y 坐标和右上角 x,yx,yx,y 来标记一个物体的位置，即 (xl,yl,xr,yr)...

  本文总结了近十多年来物体检测（object detection）方面的进展，对每个里程碑式的成果都做了介绍，自己在读过程中也了解了很多，希望能把自己的体会和学习过程记录下来吧。目录总体介绍问题描述难点&挑战过去20年来的发展物体检测框架Region Based（Two Stage Framework）RCNNSPPNetFast-RCNNFaster-RCNN总体介绍问题描述 ...

记录一下自己的学习过程~也能让自己的印象更深吧AdaDelta算法主要是为了解决AdaGrad算法中存在的缺陷，下面先介绍一下AdaGrad算法优点和以及存在的问题：AdaGrad的迭代公式如下所示：Δxt=η∑i=1tgi2∗gt\Delta{x_{t}}=\frac{\eta}{\sqrt{\sum_{i=1}^{t}{g_i^2}}}*g_tΔxt​=∑i=1t​gi2​​η​∗gt​...