<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[u010960155的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u010960155</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u010960155]]></copyright><item><title><![CDATA[GLADIS：一个缩写词消歧（扩写）的数据集和模型]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/136223727</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/136223727</guid><author>u010960155</author><pubDate>Thu, 22 Feb 2024 07:23:34 +0800</pubDate><description><![CDATA[💻| 🕹️缩写词广泛存在于各种场景，比如网络媒体，医疗文本，科技文献等等。比如下面这个例子，“AI”这个缩写可以指人工质智能（Artificial Intelligence），也可以指合理摄入（Adequate Intake）。但是缩写的存在会影响我们对文本的理解，尤其对于机器，它们不能很好理解这些缩写的含义后就不能执行分配的任务。因此我们需要对缩写进行消歧或者改写成原有的形式。]]></description><category></category></item><item><title><![CDATA[PEARL: 一个轻量的计算短文本相似度的表示模型]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/136223676</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/136223676</guid><author>u010960155</author><pubDate>Thu, 22 Feb 2024 06:23:11 +0800</pubDate><description><![CDATA[PEARL在训练中会让模型的类别，比如“The New York Times”是一个与organization相关的名词短语，noun phrase organization (NP-ORG)。通过这个任务，不同类别的短文本会被区分开，我们也会学到更好的表示。传统的方法使用文本编辑距离计算文本相似度，这种方法简单速度快，缺点就是不能捕捉语义的相似度，比如例子2和例子3的情况。FastText是可以基于词向量计算语义相似度，但是它的效果不如现在流行的上下文相关的语言模型，比如BERT。]]></description><category></category></item><item><title><![CDATA[论文解读 Combating Adversarial Misspellings with Robust Word Recognition]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/115474313</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/115474313</guid><author>u010960155</author><pubDate>Wed, 07 Apr 2021 02:35:41 +0800</pubDate><description><![CDATA[1. 简介

论文链接https://www.aclweb.org/anthology/P19-1561.pdf

这篇文章发表在ACL19，目的是为了解决错误拼写的对抗（adversarial misspellings）问题。尽管现在的deep learning和Transformer已经非常先进，但是当他们面对错误拼写时仍然十分的脆弱（brittle），一个单词的字母写错就可以愚弄（fool）这些高级的算法。

比如一个垃圾邮件的生产者（spammer）仅对邮件的几个字母轻微修改就可以骗过垃圾邮件识别.]]></description><category></category></item><item><title><![CDATA[信息熵与自然语言处理]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/113785223</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/113785223</guid><author>u010960155</author><pubDate>Thu, 11 Feb 2021 05:23:04 +0800</pubDate><description><![CDATA[本文主要观点来自吴军的《数学之美》

什么是信息熵

信息（Information）是我们天天提到的一个词，信息可以帮助我们减少事物的不确定性。我们要搞清楚一件完全不知道的事物就需要大量的信息，而搞清楚一件熟悉的事情就不需要太多的信息。

从这个角度来说，信息量就等于不确定性的大小，举个例子，假设我错过了世界杯比赛，然后我问看过比赛的人谁是冠军，这个人说让我猜，那几次才能猜中呢。

我们把32支球队从1-32进行编号，首先我猜冠军在1-16号中，如果他说对，我们继续猜冠军在1-8号中...照这样猜下去，一共]]></description><category></category></item><item><title><![CDATA[梯度下降（Gradient Descent）原理以及Python代码]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/113776715</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/113776715</guid><author>u010960155</author><pubDate>Wed, 10 Feb 2021 04:42:50 +0800</pubDate><description><![CDATA[给定一个函数，我们想知道当是值是多少的时候使这个函数达到最小值。为了实现这个目标，我们可以使用梯度下降（Gradient Descent）进行近似求解。

梯度下降是一个迭代算法，具体地，下一次迭代令



是梯度，其中是学习率(learning rate)，代表这一轮迭代使用多少负梯度进行更新。梯度下降非常简单有效，但是其中的原理是怎么样呢？

原理

为什么每次使用负梯度进行更新呢？这要从泰勒公式（Taylor's formula）说起：



泰勒公式的目的是使用的多项式去逼近函数，这里可以理解泰勒公]]></description><category></category></item><item><title><![CDATA[医疗实体链接（标准化）论文解读 （附代码） A Lightweight Neural Model for Biomedical Entity Linking]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/112598537</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/112598537</guid><author>u010960155</author><pubDate>Thu, 14 Jan 2021 05:34:35 +0800</pubDate><description><![CDATA[一、动机



论文：https://arxiv.org/abs/2012.08844

代码：https://github.com/tigerchen52/Biomedical-Entity-Linking

医疗实体链接 (Biomedical Entity Linking) 把文档中发现的疾病、药物、手术名词（mention）映射到知识库（knowledge base）中的标准术语词。



这项任务其实是非常有挑战的，这是因为文档中出现的医疗词语存在着多种变化，比如缩写、同义词、词形态变化、词序、错]]></description><category></category></item><item><title><![CDATA[实体链接中使用实体一致性信息（coherence）]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/106387771</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/106387771</guid><author>u010960155</author><pubDate>Wed, 27 May 2020 18:20:30 +0800</pubDate><description><![CDATA[实体链接（Entity Linking; Entity Disambiguation）是自然语言处理中一个很重要的任务，目的是将文本中发现的mention链接到知识库（Knowledge Base）中的标注实体（Entity）。

实体链接一般需要考虑三种信息，先验信息（prior），mention和entity之间的相似度，实体之间的一致性（coherence）


	先验信息。一个是实体本身出现的频率，一个是mention确定下链接到某实体的条件概率，即 p(e|m)
	
	
	相似度。mention和]]></description><category></category></item><item><title><![CDATA[通过loss曲线诊断神经网络模型]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/104078717</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/104078717</guid><author>u010960155</author><pubDate>Fri, 14 Feb 2020 17:43:55 +0800</pubDate><description><![CDATA[本文首先会介绍loss曲线表现形式，过拟合，欠拟合等等。然后展示如何使用matplotlib绘制loss曲线。

一、Loss曲线

通常数据集会被划分成三部分，训练集（training dataset）、验证集（validation dataset）、测试集（test dataset）。我们在训练模型时也经常会根据训练集的loss和验证集loss来诊断模型，从而期望能够优化参数训练处一个更好的模...]]></description><category></category></item><item><title><![CDATA[在神经网络中使用dropout]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/104103795</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/104103795</guid><author>u010960155</author><pubDate>Fri, 14 Feb 2020 17:40:05 +0800</pubDate><description><![CDATA[一、什么是dropout

dropout是解决神经网络模型过拟合的好办法，那什么是dropout呢？简而言之，它就是随机的将输入的张量中元素置为0，dropout可以理解为一种集成模型。因为我们将元素置为0后，相当于主动抛弃了一部分特征，强迫模型基于不完整的特征进行学习，而每次特征又不一样，所以避免模型过度学习某些特征，得到避免过拟合的效果。我们看如下代码感受下什么是dropout，首先我们有一...]]></description><category></category></item><item><title><![CDATA[使用early stopping解决神经网络过拟合问题]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/104289173</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/104289173</guid><author>u010960155</author><pubDate>Fri, 14 Feb 2020 01:02:59 +0800</pubDate><description><![CDATA[神经网络训练多少轮是一个很关键的问题，训练轮数少了欠拟合（underfit），训练轮数多了过拟合（overfit），那如何选择训练轮数呢？

Early stopping可以帮助我们解决这个问题，它的作用就是当模型在验证集上的性能不再增加的时候就停止训练，从而达到充分训练的作用，又避免过拟合。

一、在Keras中使用early stopping

Keras中有EarlyStopping类，可以...]]></description><category></category></item><item><title><![CDATA[使用CNN进行情感分析（Sentiment Analysis）]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/104077211</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/104077211</guid><author>u010960155</author><pubDate>Thu, 23 Jan 2020 22:39:38 +0800</pubDate><description><![CDATA[一、情感分析

情感分析是自然语言处理中很常见的任务，它的目的是识别出一段文本潜在的情感，是表扬还是批评，是支持还是反对。比如我们可以使用情感分析去分析社媒的评论，从而得到网友对某件事的看法，进一步分析可以得到舆论的趋势。大家都知道特朗普非常喜欢发Twitter，我们可以对推友们评论进行分析，看看他们是在骂特朗普还是在支持特朗普，然后把所有的评论汇总起来就能得到一个大概的特朗普是否能够连任的趋势了...]]></description><category></category></item><item><title><![CDATA[关于短文本匹配的深度学习模型]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/103828647</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/103828647</guid><author>u010960155</author><pubDate>Thu, 09 Jan 2020 01:30:13 +0800</pubDate><description><![CDATA[背景

短文本匹配（text matching）或句子相似度（sentence similarity）在信息检索中有着广泛的应用，比如相似问题判断，问答系统等等。短文本匹配的任务难点有两个，一个是“短”，缺乏上下文和可以利用的信息。比如说“某某被绿了”这个句子，人是知道“绿”的含义的，但是这对于机器来说是很难理解的，这里需要借助一些外部的知识来帮助机器理解。第二个难点是语言表达形式的多样性，这里有...]]></description><category></category></item><item><title><![CDATA[社交媒体分析-恶意内容自动检测相关论文]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/100536201</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/100536201</guid><author>u010960155</author><pubDate>Wed, 04 Sep 2019 12:10:48 +0800</pubDate><description><![CDATA[2010

Robertson, Michael, Yin Pan, and Bo Yuan. "A social approach to security: Using social networks to help detect malicious web content."2010 IEEE International Conference on Intelligent Systems a...]]></description><category></category></item><item><title><![CDATA[统计学习方法-最大熵模型]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/100208738</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/100208738</guid><author>u010960155</author><pubDate>Mon, 02 Sep 2019 16:39:43 +0800</pubDate><description><![CDATA[最大熵模型（maximum entropy model）是由最大熵原理推导而来的。

一、最大熵原理

最大熵原理认为，学习概率模型的时候，在所有可能的概率模型分布中，熵最大的模型是最好的模型。模型通常要满足数据集的约束条件。所以最大熵模型的原理可以被描述为在满足约束条件下熵最大的模型。



直观地讲，最大熵原理，认为要选择的概率模型首先要满足已有的事实，即约束条件。然后再不确定信息的情况下，那...]]></description><category></category></item><item><title><![CDATA[基于社交媒体的政治情感分析的相关论文]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/100154520</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/100154520</guid><author>u010960155</author><pubDate>Sat, 31 Aug 2019 15:34:55 +0800</pubDate><description><![CDATA[2010

Tumasjan, Andranik, et al. "Predicting elections with twitter: What 140 characters reveal about political sentiment."Fourth international AAAI conference on weblogs and social media. 2010.被引...]]></description><category></category></item><item><title><![CDATA[论文笔记 DNorm: disease name normalization with pairwise learning to rank]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/99442688</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/99442688</guid><author>u010960155</author><pubDate>Tue, 13 Aug 2019 17:46:38 +0800</pubDate><description><![CDATA[一、动机

疾病词的标准化是一个非常复杂的任务，疾病词通常是由希腊和拉丁的词根和词缀构造的，比如hemochromatosis（血色素沉着病）。另一种灵活的疾病词创建方式是疾病分类（disease category）加上短修饰词（modifier），其中包括

解剖部位（anatomical locations）。比如breast cancer，乳癌
	症状（symptoms）。比如cat-e...]]></description><category></category></item><item><title><![CDATA[论文笔记 Medical Entity Linking using Triplet Network]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/99339527</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/99339527</guid><author>u010960155</author><pubDate>Mon, 12 Aug 2019 23:12:38 +0800</pubDate><description><![CDATA[一、动机

实体链接（Entity Linking）或者标准化（Normalization）的目标是将文本中发现的mention链接到知识库中的标准实体。在医疗领域，疾病词的实体链接难度在于缩写、同义词、单词顺序变换等等，这些不同形态的描述给疾病实体链接带来了困难。为了解决这个问题，作者提出了一个基于Triplet Networks的实体链接框架，这篇文章的贡献主要有三点：

为了区分正样本和负样...]]></description><category></category></item><item><title><![CDATA[医疗领域实体对齐（实体链接）论文总结]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/99294266</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/99294266</guid><author>u010960155</author><pubDate>Mon, 12 Aug 2019 12:18:30 +0800</pubDate><description><![CDATA[2002

Pakhomov, Serguei. "Semi-supervised maximum entropy based approach to acronym and abbreviation normalization in medical texts."Proceedings of the 40th annual meeting on association for computat...]]></description><category></category></item><item><title><![CDATA[使用Keras计算余弦相似度（Cosine Similarity）]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/98504881</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/98504881</guid><author>u010960155</author><pubDate>Mon, 05 Aug 2019 18:30:53 +0800</pubDate><description><![CDATA[因为Merge函数在Keras新版本中已经不再使用了，在计算批次余弦相似度时，需要自定义函数。余弦相似度定义如下：



要计算两个向量相似度有如下步骤：

分别计算两个向量l2范式，计算两个向量的点乘
	点乘的结果除以l2范式的乘积，注意分母不要为0
我们使用Keras后端函数计算Cosine相似度，因为在使用后端函数时候要使用Lamda函数进行包裹，否则程序会影响出错。K.batch_dot(...]]></description><category></category></item><item><title><![CDATA[关系抽取论文总结（relation extraction）不断更新]]></title><link>https://blog.youkuaiyun.com/u010960155/article/details/97620015</link><guid>https://blog.youkuaiyun.com/u010960155/article/details/97620015</guid><author>u010960155</author><pubDate>Sun, 04 Aug 2019 21:50:20 +0800</pubDate><description><![CDATA[2000

1.Miller, Scott, et al. "A novel use of statistical parsing to extract information from text."1st Meeting of the North American Chapter of the Association for Computational Linguistics. 2000.被...]]></description><category></category></item></channel></rss>