<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[百川的博客]]></title><description><![CDATA[Done is better than perfect。]]></description><link>https://blog.youkuaiyun.com/shine19930820</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; shine19930820]]></copyright><item><title><![CDATA[「论文阅读」还在手写Prompt，自动Prompt搜索超越人类水平]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/137470805</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/137470805</guid><author>shine19930820</author><pubDate>Sun, 07 Apr 2024 17:55:10 +0800</pubDate><description><![CDATA[手写prompt确实很费脑筋，但其实本身大语言模型就是一个很好的自动prompt工具，文章提出自动prompt工程（Automatic Prompt Engineer），利用语言模型+蒙特卡洛搜索 自动的寻找最优的Prompt样例，最终在多项任务的效果几乎达到人类水平。
]]></description><category></category></item><item><title><![CDATA[「AIGC」- ChatGPT可以怎么玩？]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/129918835</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/129918835</guid><author>shine19930820</author><pubDate>Sun, 02 Apr 2023 23:11:05 +0800</pubDate><description><![CDATA[chatGPT这么火，这几天一番体验之后，除了惊叹，同时也引发了作为程序员的担忧：我的工作是否会被AI取代？

这个问题很难不引起焦虑，但是我们可以换一个角度，可以用这些生成类的工作，做些什么提高我们的工（zao）作（dian）效（xia）率（ban）？就像我们当初使用搜索引擎一样...]]></description><category></category></item><item><title><![CDATA[【自学习】- 怎么让对话机器人越来越强？]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/125861620</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/125861620</guid><author>shine19930820</author><pubDate>Mon, 18 Jul 2022 22:44:48 +0800</pubDate><description><![CDATA[对话机器人如果能够检测到服务失败的case，再强一点，最好还能够自动纠正，就和人一样，在学习中成长，在成长中学习，越来越强。理想和美好，那么怎么做呢？怎么学习呢？

对话机器人在与人交互过程中，人的反应，例如赞扬、骂人、嘲笑等，这些反应满意度的指标，天然的就是标签数据，为我们对话助手的服务打上了满意度标签，如果能够挖掘出这种标签，那么会话助手就会再和人交互中发现badcase，然后利用badcase优化模型，从而优化对话助手让它越来越强，是不是有可能呢？......]]></description><category></category></item><item><title><![CDATA[【问答对话】kbqa？开放域问答怎么有知识地生成]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/125713297</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/125713297</guid><author>shine19930820</author><pubDate>Mon, 11 Jul 2022 00:09:28 +0800</pubDate><description><![CDATA[开放域问答怎么有知识地生成最近流行的大模型，如GPT-3也在开放域问答上有一定的能力，那么如何在大的语言模型基础上融合知识呢，其实主要面临两个问题，1）检索什么知识，怎么检索。2）怎么讲检索知识加入。......]]></description><category></category></item><item><title><![CDATA[【评论生成】AI生成评论，如何既相关又多样？]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/125038612</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/125038612</guid><author>shine19930820</author><pubDate>Mon, 30 May 2022 00:04:31 +0800</pubDate><description><![CDATA[AI评论生成，如何既相关有多样？]]></description><category></category></item><item><title><![CDATA[【Prefix-Tuning】Fine-tuning过时啦，NLG生成任务如何Tuning？]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/124791482</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/124791482</guid><author>shine19930820</author><pubDate>Mon, 16 May 2022 00:50:40 +0800</pubDate><description><![CDATA[Fine-tuning范式大家肯定都再熟悉不过，微调所有语言模型参数，而从gpt3出现之后提出的in-context learning，还是越来越火的prompt，fine-tuning 已经out of state了。而这篇文章就提出prefix-tuning的nlg训练方法。]]></description><category></category></item><item><title><![CDATA[【任务型对话】任务型对话中的自然语言生成]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/124233792</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/124233792</guid><author>shine19930820</author><pubDate>Sun, 17 Apr 2022 18:32:45 +0800</pubDate><description><![CDATA[任务型对话中，一般包含ASR、语义理解、多轮状态追踪、会话策略、自然语言生成（NLG）模块，那么任务型对话中都有哪些生成的方法呢？
基于模板
因为任务型对话中，生成任务有两个作用，1. 向用户传递信息，例如搜索到的机票信息（inform_槽位）等，提供给用户选择。2. 进行用户问询，主要是ontology中定义好的字段，比如常见的订票场景中的出发地、目的地（request_槽位）等。
因此，可以事先针对传递信息、用户问询的槽位，设计好模板，然后实际应用时，将其中的槽位使用对应的值替换即可。例如：

Con.]]></description><category></category></item><item><title><![CDATA[【多轮对话】多轮对话状态追踪技术综述]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/123179618</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/123179618</guid><author>shine19930820</author><pubDate>Mon, 28 Feb 2022 13:00:58 +0800</pubDate><description><![CDATA[对话状态定义：对话一个会话状态S_t，它包含知道前当前轮次t的对话历史的总结，S_t中包含了系统选择下一步action的所有信息。S_t一般都是槽位状态的分布。(意图也可以作为一种槽位状态)

会话状态跟踪就是根据所有的历史上下文信息，获得到当前轮的会话状态。]]></description><category></category></item><item><title><![CDATA[【任务型对话】从ARML看亚马逊的语义表达式]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/122247030</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/122247030</guid><author>shine19930820</author><pubDate>Thu, 30 Dec 2021 22:58:40 +0800</pubDate><description><![CDATA[在任务型的话中，一般会包含一个语义理解模块，会将用户query转化为domain、intent、slot的表示，但是面对跨域、细粒度的槽位、数以万计的技能，表示就难以表达query的语义了。于是亚马逊提出了一种新的语义表达方式，相比于之前的domain、intent、slot体系，能够支持跨域的query、细粒度的实体类型、复杂的句子和表达。]]></description><category></category></item><item><title><![CDATA[【多轮对话】从微软源码看用户模拟器构建]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/122226838</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/122226838</guid><author>shine19930820</author><pubDate>Wed, 29 Dec 2021 23:24:09 +0800</pubDate><description><![CDATA[用户模拟器是在任务型多轮对话场景中，用于模拟用户在指定目标下多轮对话过程，可以用于生成对话数据，以及通过强化的方式训练系统决策。在具体的任务型场景需要定义有哪些用户行为、用户意图、用户可能说的槽位等，而之后用户模拟器是怎么来推进对话过程的呢？]]></description><category></category></item><item><title><![CDATA[【多轮对话】任务型多轮对话数据集和采集方法]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/121483091</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/121483091</guid><author>shine19930820</author><pubDate>Tue, 23 Nov 2021 00:01:59 +0800</pubDate><description><![CDATA[研究任务型对话系统，首先得从数据集采集说起，学术界需要公开的数据集来证明模型的效果，工业界更需要以数据集为基础来构建更鲁棒的对话系统，那么业界成熟的对话系统数据集有哪些呢，对于多轮，如何更科学的采集数据减少错误呢，本文调研了一些近来一些方案供参考。
WoZ&amp;MultiWOZ

A Network-based End-to-End Trainable Task-oriented Dialogue System提出了woz framework
Neural Belief Tracker: Data-Dr]]></description><category></category></item><item><title><![CDATA[【多轮对话】任务型多轮对话状态跟踪-NBT原理]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/121133281</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/121133281</guid><author>shine19930820</author><pubDate>Wed, 03 Nov 2021 23:49:22 +0800</pubDate><description><![CDATA[让机器像人一样自由的对话，对话机器人必然要具备连续对话的能力，即多轮对话，多轮对话不用多讲，那么什么是多轮对话状态跟踪呢（DST, dialogue state tracker | belief traker）？
在会话的每一步需要去预测用户的目标，然后会话策略给于用户正确的用响应，但用户目标是一个不可观测的隐状态，所以需要通过观测用户历史utterence、系统历史响应，然后获得belief state，通过belief state来表示用户目标。
那么什么是会话状态（belief state）: 对话的]]></description><category></category></item><item><title><![CDATA[NER的过去、现在和未来综述-未来]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/121129850</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/121129850</guid><author>shine19930820</author><pubDate>Wed, 03 Nov 2021 20:32:25 +0800</pubDate><description><![CDATA[背景
命名实体识别（NER, Named Entity Recognition），是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。
本文主要讲关于NER在2021后的一些发展的点
]]></description><category></category></item><item><title><![CDATA[NER的过去、现在和未来综述-现在]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/120944128</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/120944128</guid><author>shine19930820</author><pubDate>Mon, 25 Oct 2021 00:28:51 +0800</pubDate><description><![CDATA[命名实体识别（NER, Named Entity Recognition），是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

之前的过去篇：[NER的过去、现在和未来综述-过去篇]


过去和现在是相对于某个时间节点的，暂且以bert作为这个时间节点，本文就主要寻找NER在BERT之后的一些方法。本文将从以下方面展开：
(https://zhuanlan.zhihu.com/p/351132129)

解码框架（Framework）

这里归类的解码器似乎也不太合适，但是也找不到]]></description><category></category></item><item><title><![CDATA[NER的过去、现在和未来综述-过去篇]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/120753785</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/120753785</guid><author>shine19930820</author><pubDate>Thu, 14 Oct 2021 00:38:31 +0800</pubDate><description><![CDATA[背景
命名实体识别（NER, Named Entity Recognition），是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

评价指标
使用实体级别的精确率、召回率、F1
本文主要讲解NER历史使用过的一些方法，如果更关注于现在使用功能的一些方法，可以参考：
基于词典和规则的方法
利用词典，通过词典的先验信息，匹配出句子中的潜在实体，通过一些规则进行筛选。
或者利用句式模板，抽取实体，例如模板"播放歌曲${song}"，就可以将query="播放歌曲七里香"中的song=七]]></description><category></category></item><item><title><![CDATA[BERT-flow:bert的向量表达是SOTA吗？]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/114012124</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/114012124</guid><author>shine19930820</author><pubDate>Wed, 24 Feb 2021 11:50:51 +0800</pubDate><description><![CDATA[On the Sentence Embeddings from Pre-trained Language Models 阅读笔记
code : github/BERT-Flow
source : EMNLP 2020
BERT在用于下游各项NLP任务上都有明显提升，但是被发现直接作为sentence embedding的预训练模型效果不好，作者发现这是因为没有很好地挖掘BERT里面的语义信息，作者从理论上证明了bert的训练目标（MLM,NSP）和相似度任务之间差异，并可视化展示。发现bert的语义空间是非]]></description><category></category></item><item><title><![CDATA[自学习-怎么让对话助手越来越强]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/113487663</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/113487663</guid><author>shine19930820</author><pubDate>Sun, 31 Jan 2021 23:36:45 +0800</pubDate><description><![CDATA[对话助手在与人的直接交互过程中，一方面为人提供服务，另一方面，也可以通过人的反馈来进行学习并优化自己，那么具体怎么做呢？

留坑，哈哈


]]></description><category></category></item><item><title><![CDATA[我还不知道Attention有哪些-公式代码都带你搞定]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/109756345</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/109756345</guid><author>shine19930820</author><pubDate>Mon, 30 Nov 2020 23:55:58 +0800</pubDate><description><![CDATA[attention由来已久，让它名声大噪的还是BERT，可以说NLP中，BERT之后，再无RNN和CNN。那么attention到底有哪些呢？代码上怎么实现呢？多头机制又是什么呢，且听分解]]></description><category></category></item><item><title><![CDATA[RNN及其变种LSTM/GRU/SRU]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/108984007</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/108984007</guid><author>shine19930820</author><pubDate>Fri, 09 Oct 2020 18:40:30 +0800</pubDate><description><![CDATA[RNN及其变种LSTM/GRU/SRU]]></description><category></category></item><item><title><![CDATA[学习让机器学会学习-Meta Learning课程笔记-2]]></title><link>https://blog.youkuaiyun.com/shine19930820/article/details/108961867</link><guid>https://blog.youkuaiyun.com/shine19930820/article/details/108961867</guid><author>shine19930820</author><pubDate>Fri, 09 Oct 2020 18:25:04 +0800</pubDate><description><![CDATA[来源于李宏毅老师机器学习课程，笔记是其中meta learning部分，few-shot learning学习也可以观看此部分课程。
课程主页：http://t.cn/Exykrk9
video: http://t.cn/ExykrkC
bilibili：https://www.bilibili.com/video/BV1Gb411n7dE?p=32]]></description><category></category></item></channel></rss>