ACM_hades的博客

Document-Level Relation Extraction：SSAN模型

ACM_hades — Sun, 16 May 2021 17:16:19 +0800

参考链接论文链接：Entity Structure Within and Throughout: Modeling Mention Dependencies for Document-Level Relation Extraction 代码链接：https://github.com/BenfengXu/SSAN Introduction 首先通过一个例子来简单阐述一下Document-Level Relation Extraction：红色的线：表示共指关系；蓝色的线：表示句内关系，通过句内局部

对比学习：MoCo :Momentum Contrast for Unsupervised Visual Representation Learning

ACM_hades — Tue, 30 Mar 2021 10:23:12 +0800

参考链接论文链接：https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1911.05722 代码链接：https://github.com/facebookresearch/moco Introduction 无监督的表示学习再NLP领域已经取得了巨大的成功，比如：bert预训练模型；但是再CV领域，监督的表示学习还是比无监督的表示学习要好。这主要的原因是什么呢？论文认为：主要的原因是NLP和CV的信号空间不一样 NLP是基于字典的离散的

CapsNet模型：Dynamic Routing Between Capsules

ACM_hades — Fri, 19 Jun 2020 16:40:50 +0800

1.CNN模型的缺陷 CNN主要用于捕捉图形的局部特征，但是在探索这些特征之间的关系似乎不是特别好（比如相对位置关系、相对大小关系，特征的方向等等关系）如下面两幅图，由于局部特征相同，所以CNN可能将它们都识别成一张人脸：一个简单的CNN模型可以正确地提取鼻子，眼睛和嘴巴的特征，但是并不能提取出特征之间的相对关系： CapsNet模型就是为解决CNN这个缺陷而产生的。 2.Capsules网络的概念在一般的神经网络中，一层一般由若干神经元组成，每个神经元对应一个常数(或者叫常数的输出和输出)。

马尔可夫决策过程(MDP)

ACM_hades — Sat, 18 Apr 2020 22:32:01 +0800

一、强化学习引入强化学习的一个经典简化图：在上图中Agent首先观察获取当前环境的状态StS_tSt,然后根据StS_tSt采取一个行动AtA_tAt与环境进行交互，在动作AtA_tAt作用下环境的状态由StS_tSt转变为St+1S_{t+1}St+1,同时环境会给出立即给Agent一个回报RtR_tRt。如此循环下去，Agent与环境进行不断地交互从而产生很多数据。强化学习...

BERT核心源码阅读笔记

ACM_hades — Tue, 14 Apr 2020 21:05:06 +0800

一.参考链接 BERT理论解读：https://blog.youkuaiyun.com/ACM_hades/article/details/89375058 代码参考连接：https://github.com/graykode/nlp-tutorial 二.代码 import math import re from random import * import numpy as np import tor...

知识图谱简述：

ACM_hades — Fri, 10 Apr 2020 21:51:48 +0800

一、知识图谱的定义：知识图谱：知识图谱本质上是语义网络（Semantic Network）的知识库。可以简单地把知识图谱理解成多关系图（Multi-relational Graph）。多关系图一般包含多种类型的节点和多种类型的边。在知识图谱里，节点：我们通常表示一个实体（Entity）；实体指的是现实世界中的事物比如人、地名、概念、药物、公司等边：表示实体间的一种关系（Relati...

FastText模型：Enriching Word Vectors with Subword Information

ACM_hades — Thu, 02 Apr 2020 00:12:11 +0800

参考链接论文链接：Enriching Word Vectors with Subword Information FastText模型 FastText模型是在skip-gram模型基础上提出来的，所有首需要回顾一下skip-gram模型，可以参考连接： skip-gram模型 skip-gram模型图：在skip-gram模型中对词汇表中每个词www都对应着两个向量：输人向量uwu...

常见损失函数总结

ACM_hades — Sun, 29 Mar 2020 00:06:02 +0800

常见损失函数损失函数：用来评价模型的预测值和真实值不一致的程度，损失函数越好，通常模型的性能越好。不同的模型用的损失函数一般也不一样。 0-1损失函数(zero-one loss) 公式：L(Y,f(X))={1Y=f(X)0Y≠f(X)L(Y,f(X))= \begin{cases} 1 & Y=f(X) \\ 0 & Y≠f(X)\end{cases} L(Y,f(X...

深度学习优化器总结

ACM_hades — Fri, 27 Mar 2020 11:21:07 +0800

深度学习优化器神经网络模型的学习方法(优化器)一般使用梯度下降算法：令网络模型的损失函数为：J(θ)J(θ)J(θ)；其中θθθ是整个模型需要学习的参数。然后将参数θθθ向负梯度方向更新：θt=θt−1−η∇J(θ)θ_t=θ_{t-1}-η∇J(θ)θt=θt−1−η∇J(θ); ηηη为学习率表明梯度更新的步伐大小可以看出深度学习优化器的两个核心：梯度与学习率，前者决定...

激活函数总结

ACM_hades — Tue, 24 Mar 2020 22:01:43 +0800

激活函数的作用没有激活函数带来的非线性，多层神经网络和单层无异，只能拟合一般的线性函数。为了使得神经网可以拟合复杂的函数需要向神经网络加入非线性激活函数，它可以使神经网络随意逼近复杂函数。神经元∑inwixi+b∑_i^nw_i x_i+b∑inwixi+b的输出值可能非常大, 该输出在未经修改的情况下传送至下一层神经元时，可能被转换成更大的值，这样可能需要极大算力。激活函数的一个任务...

Python基础：高阶函数

ACM_hades — Mon, 23 Mar 2020 23:37:10 +0800

#====================高阶函数================= ''' 1、python中所有变量都可以理解为指针 2、函数名是函数的指针，也可以理解为一个变量，也可以将函数名赋值给另个变量 3、高阶函数：既然变量可以指向函数，函数的参数能接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数就称之为高阶函数 ''' print(abs) f = abs print(f...

残差网络：Deep Residual Learning for Image Recognition

ACM_hades — Mon, 23 Mar 2020 18:13:32 +0800

参考链接参考论文： Deep Residual Learning for Image Recognition Identity Mappings in Deep Residual Networks 参考博客： https://zhuanlan.zhihu.com/p/80226180 https://zhuanlan.zhihu.com/p/42706477 一、梯度消失/梯度...

Python基础：高级特性

ACM_hades — Sun, 22 Mar 2020 18:53:02 +0800

from collections.abc import Iterable from collections.abc import Iterator #==============切片=============== ''' 切片：取list和tuple中[s:t)区间的元素，如果s=o或者t为最后可以省略不写可以进行切片的对象：list，tuple，str ''' L=list(range(10)...

Python基础：函数

ACM_hades — Thu, 19 Mar 2020 21:37:03 +0800

#函数定义 #不需要指定函数类型 def my_abs(x): #数据类型检查可以用内置函数isinstance() #如果传入错误的参数类型，函数就可以抛出这个一个错误 if not isinstance(x, (int, float)): raise TypeError('bad operand type') if x >= 0: ...

问答系统综述

ACM_hades — Wed, 18 Mar 2020 20:52:31 +0800

问答系统基本概念问答系统的目标:给定一个问题, 能够得到简短、精确的答案. 系统定义:一个能回答任意自然语言形式问题的自动机。处理流程: 分析问题. 检索包含答案的数据(检索数据). 提取答案. 对应流程中的三个过程有三个研究的基本问题: 问题分析:如何去分析问题; 信息检索:如何根据问题的分析结果去缩小答案可能存在的范围; 答案抽取:如何从可能存在答案的信息块中抽取答案。...

Python基础知识(一)

ACM_hades — Wed, 18 Mar 2020 20:31:56 +0800

#================if语句====================== ''' if语句格式： if <条件判断1>: <执行1> elif <条件判断2>: <执行2> elif <条件判断3>: <执行3> else: ...

Python基础：list与tuple的基本用法

ACM_hades — Mon, 16 Mar 2020 17:00:41 +0800

直接代码＋解释 #===============使用list============ #定义list classmates = ['Michael', 'Bob', 'Tracy'] print(classmates) #用len()函数可以获得list元素的个数： print(len(classmates)) #索引取元素 print(classmates[0])#索引从o开始 print(...

Python基础：格式化字符串

ACM_hades — Mon, 16 Mar 2020 16:15:24 +0800

%格式化字符串,格式化规则与C语言一样 s='Hi, %s, you have $%d.' % ('Michael', 1000000) #前面的格式化字符串与C语言一样 print(s) s_1= 'growth rate: %d %%' % 7 #如果普通字符有%用%%表示 print(s_1) 如果你不太确定应该用什么，%s永远起作用，它会把任何数据类型转换为字符串： s='Ag...

Python基础：编码问题

ACM_hades — Mon, 16 Mar 2020 15:57:32 +0800

编码的发展过程：计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。文本转化为数子就叫编码，即用一个数字去唯一表示一个字符。 ASCII编码：由于计算机是美国人发明的，因此，最早只有127个字符被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码被称为ASCII编码，所以最早的计算机在设计时采用8个比特（bit）（一个字节（byte））来编码每个字符，一个...

Transformer-XL模型核心源码阅读笔记

ACM_hades — Sun, 08 Mar 2020 22:41:24 +0800

参考链接 Transformer-XL模型理论：https://blog.youkuaiyun.com/ACM_hades/article/details/89310836 参考项目链接：https://github.com/kimiyoung/transformer-xl Adaptive softmax 代码实现：理论链接：https://blog.youkuaiyun.com/ACM_hades/artic...