<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[北风吹过的秋]]></title><description><![CDATA[科研小僧]]></description><link>https://blog.youkuaiyun.com/u014577702</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u014577702]]></copyright><item><title><![CDATA[Google力作 | Infini-attention无限长序列处理Transformer]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/139397400</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/139397400</guid><author>u014577702</author><pubDate>Sun, 02 Jun 2024 21:14:29 +0800</pubDate><description><![CDATA[表2中的数据表明，Infini-Transformer在长上下文语言建模任务上取得了优于Transformer-XL和Memorizing Transformers的结果，同时保持了更低的内存占用。表2中列出了几种不同的模型配置，并展示了它们在不同长度序列上的表现。介绍了Infini-attention，这是一种新的注意力技术，它在传统的注意力机制中加入了压缩记忆(compressive memory)，并在单个Transformer块中集成了masked局部注意力和long-term线性注意力机制。]]></description><category></category></item><item><title><![CDATA[SELF-RAG: Learning to Retrieve, Generate, and Critique Through Self-reflection]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/139397284</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/139397284</guid><author>u014577702</author><pubDate>Sun, 02 Jun 2024 21:08:15 +0800</pubDate><description><![CDATA[更多文章，请关注微信公众号：NLP分享汇下面介绍的这篇论文是最近被ICLR 2024 accepted oral，作者来自University of Washington & Allen Institute for AI & IBM Research AI。大语言模型（LLMs）尽管功能强大，但它们生成的响应常常包含事实性错误，这是因为它们只依赖于模型内部的参数知识。现有方法的局限性：检索增强生成（RAG）是一种通过检索相关知识来增强语言模型输入的方法，它减少了知识密集型任务中的事实错误。]]></description><category></category></item><item><title><![CDATA[xLSTM: Extended Long Short-Term Memory]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/139397151</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/139397151</guid><author>u014577702</author><pubDate>Sun, 02 Jun 2024 20:58:41 +0800</pubDate><description><![CDATA[图8在展示了不同语言模型在不同模型大小下的验证集困惑度（Perplexity）与参数数量的关系，这是对模型缩放行为（Scaling Laws）的分析。图中比较了几种xLSTM变体，包括只有sLSTM的架构（xLSTM[0:1]），只有mLSTM的架构（xLSTM[1:0]），以及两者结合的架构（xLSTM[1:1]）。表3展示了不同语言模型在SlimPajama数据集上的性能比较，特别是在不同模型大小下的验证集困惑度（Perplexity）和下游任务（Downstream Tasks）的性能。]]></description><category></category></item><item><title><![CDATA[LLMs Can’t Plan, But Can Help Planning in LLM-Modulo Frameworks]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/139396994</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/139396994</guid><author>u014577702</author><pubDate>Sun, 02 Jun 2024 20:51:17 +0800</pubDate><description><![CDATA[这里，作者使用Kahneman（2011）的理论《Thinking fast and slow》，将LLMs比作一个巨大的伪系统1，意味着它们能够快速生成文本和响应，但并不涉及深层次的推理或规划。总之，这篇论文主张大型语言模型（LLMs）自身无法执行复杂的规划任务，但可以在LLM-Modulo框架内，与外部基于模型的验证器相结合，发挥辅助规划的作用，通过这种神经符号集成方法，提高规划和推理任务的灵活性和表达力。但是，由于LLM无法验证自己的解决方案，这种自我改进的方法实际上是不可行的。]]></description><category></category></item><item><title><![CDATA[工程化实践：如何基于自定义数据进行P-tuning实验？如何部署预测？]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/124588548</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/124588548</guid><author>u014577702</author><pubDate>Thu, 05 May 2022 14:55:20 +0800</pubDate><description><![CDATA[小样本学习工程化应用：P-tuning]]></description><category></category></item><item><title><![CDATA[fatal error: ‘Segmentation fault‘ is detected by the operating system]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/123453508</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/123453508</guid><author>u014577702</author><pubDate>Sun, 13 Mar 2022 01:04:38 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: VERSION ‘GLIBCXX_3.4.22‘ not found]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/123453453</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/123453453</guid><author>u014577702</author><pubDate>Sun, 13 Mar 2022 00:58:49 +0800</pubDate><description><![CDATA[首先先把我遇到的问题贴出来



这个是默认路径下的libstdc++.so.6缺少GLIBCXX_3.4.22，你有可能缺少其它版本的比如3.4.23，解决方法一样，如下所示：

（1）使用指令先看下目前都有哪些版本的


/usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX

我这里只到3.21，所以确定是确实这个文件

（2）使用sudo find / -name "libstdc++.so.6*"来查看当前系统中其它的同类型文件，找到一个版.]]></description><category></category></item><item><title><![CDATA[中文NER—项目中的SOTA应用]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/121373289</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/121373289</guid><author>u014577702</author><pubDate>Wed, 17 Nov 2021 11:01:09 +0800</pubDate><description><![CDATA[中文NER 的 SOTA应用，ACL2020 FLAT 和 ACL2021 LEBERT 。]]></description><category></category></item><item><title><![CDATA[Recent Advances in Deep Learning-based Dialogue Systems]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117825782</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117825782</guid><author>u014577702</author><pubDate>Fri, 11 Jun 2021 19:07:21 +0800</pubDate><description><![CDATA[本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是开篇。论文制作了一个图表，以帮助读者熟悉整体结构（如图1），本系列将依此详细介绍。



 图1 全文结构

各部分介绍请点击链接查看，内容有点多哦，当作参考吧，希望对你有帮助。

【一】简要介绍对话系统和...]]></description><category></category></item><item><title><![CDATA[Pointer Net and CopyNet]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117338847</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117338847</guid><author>u014577702</author><pubDate>Thu, 27 May 2021 21:56:11 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/BgRe6Y7Qvr9RylxlE_4eJw

01 - Pointer Net

在对话系统和问答等一些NLP任务中，代理（agents）有时需要直接引用用户消息。Oriol等人[1] 2015年提出的Pointer Net网络 (图1）解决了直接从输入句子复制token的问题。


	Sequence-to-sequence【图1a】

	RNN(蓝色)对输]]></description><category></category></item><item><title><![CDATA[《 Recent Advances in Deep Learning-based Dialogue Systems 》：Neural Models in Dialogue Systems]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117338681</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117338681</guid><author>u014577702</author><pubDate>Thu, 27 May 2021 21:45:52 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/vsEH5wj9Y5dShnH42hCX_Q

前言

本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是第二篇。本文较长，建议读者直接阅读感兴趣的部分。

开篇链接：2021深度学习对话系统大综述 []]></description><category></category></item><item><title><![CDATA[GRU]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117289648</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117289648</guid><author>u014577702</author><pubDate>Wed, 26 May 2021 13:55:27 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/lr65Pun1_jP6rUY5-66OSg

GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。



在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别.]]></description><category></category></item><item><title><![CDATA[长短期记忆网络 Long Short-Term Memory]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117289485</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117289485</guid><author>u014577702</author><pubDate>Wed, 26 May 2021 13:49:03 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/XdV-1aIRFzAU8HXTH7M3Lw

前言

之前我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM，它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。

RNN原理介绍：追根溯源：循环神经网络



《 Long short-term memory 》 ..]]></description><category></category></item><item><title><![CDATA[追根溯源：循环神经网络（Recurrent Neural Networks）]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117289403</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117289403</guid><author>u014577702</author><pubDate>Wed, 26 May 2021 13:46:04 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/A0irVL4-uYVCbrSrtFEZxQ

一、背景

NLP任务（包括与对话相关的任务）尝试处理和分析顺序的语言数据点，即使标准神经网络以及CNN是强大的学习模型，它们也具有两个主要限制：


	一种是它们假定数据点彼此独立。虽然可以独立地产生数据点是合理的，但是在处理相互关联的数据点（例如，文本，音频，视频）时，可能会丢失基本信息。
	
	
	另外，它们]]></description><category></category></item><item><title><![CDATA[神经网络中的人脑海马体：Memory Networks]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117289292</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117289292</guid><author>u014577702</author><pubDate>Wed, 26 May 2021 13:43:38 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/NIENYhe_sYZbQZapaI0_mw

背景：Memory Networks是怎样诞生的？

在处理与过去经验或外部知识来源有关的问题时，记忆是一个至关重要的组成部分。人脑的海马体和计算机的硬盘是人类和计算机读写记忆所依赖的部件。传统的模型很少有内存组件，缺乏知识重用和推理能力。RNN通过时间步迭代传递历史信息，在某种程度上，可以将其视为一个内存模型。然]]></description><category></category></item><item><title><![CDATA[Attention and Transformer]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117289091</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117289091</guid><author>u014577702</author><pubDate>Wed, 26 May 2021 13:39:39 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/z1rxIzEMY1EHy-B6-134YQ

一、背景介绍

传统的Sequence-to-sequence模型基于当前隐状态和最后时间步长的输出向量进行token解码。条件概率描述公式如下：



然而，当输入语句较长时，这种译码方案受到了限制。RNN不能将所有信息编码成固定长度的隐藏向量。Cho等人[1]通过实验证明，输入序列越长，序列到序列模型的性能越差]]></description><category></category></item><item><title><![CDATA[如何理解NLP中的图像？一文知悉TextCNN文本分类]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117002768</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117002768</guid><author>u014577702</author><pubDate>Tue, 18 May 2021 22:48:08 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/h_ezSv94ixC0oQQk2Ek9PA

什么是深度神经网络？

深度神经网络被大多数较优模型所青睐。「深」实际上就是「多层」，通过堆叠前馈层（feed-forward layers）抽取特征。前馈层被定义为：y = σ(Wx + b)，σ是激活函数，W和b都是可训练参数。前馈层由于激活功能而功能强大，从而使原本为线性的操作变为非线性。然而，在使用前馈层时]]></description><category></category></item><item><title><![CDATA[2021深度学习对话系统大综述 [一]]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/117002682</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/117002682</guid><author>u014577702</author><pubDate>Tue, 18 May 2021 22:43:35 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/QZjfSfSmby8lb9oPJdrAfw

前言

本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是开篇。论文制作了一个图表，以帮助读者熟悉整体结构（如图1），本系列将依此详细介绍。



...]]></description><category></category></item><item><title><![CDATA[Beyond Accuracy: Behavioral Testing of NLP models with CheckList]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/116759670</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/116759670</guid><author>u014577702</author><pubDate>Thu, 13 May 2021 17:59:13 +0800</pubDate><description><![CDATA[《 Beyond Accuracy: Behavioral Testing of NLP models with CheckList 》

ACL2020最佳论文奖



GitHub：https://github.com/marcotcr/checklist

文章链接：https://arxiv.org/pdf/2005.04118.pdf

理解难度：★★★★★



◆ 摘要

这篇文章提出了自然语言处理的一种模型无关和任务无关的测试方法，虽然测量精度一直是评价通用化的主要方法，但它往往高估了 NL]]></description><category></category></item><item><title><![CDATA[基于Bert的实体关系抽取模型]]></title><link>https://blog.youkuaiyun.com/u014577702/article/details/116606649</link><guid>https://blog.youkuaiyun.com/u014577702/article/details/116606649</guid><author>u014577702</author><pubDate>Mon, 10 May 2021 19:26:07 +0800</pubDate><description><![CDATA[关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】



文章链接：https://mp.weixin.qq.com/s/OebxnvwjQiVbBZZFL2Un3A

前言

信息抽取(Information Extraction, IE)是从自然语言文本中抽取实体、属性、关系及事件等事实类信息的文本处理技术，是信息检索、智能问答、智能对话等人工智能应用的重要基础，一直受到业界的广泛关注。信息抽取任务涉及命名实体识别、指代消解、关系分类等复杂技术，极具挑战性。而本文旨在介绍如何利]]></description><category></category></item></channel></rss>