<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wang2008start的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wang2008start</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wang2008start]]></copyright><item><title><![CDATA[医疗大模型和数据集整理]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/139194585</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/139194585</guid><author>wang2008start</author><pubDate>Sat, 25 May 2024 12:02:49 +0800</pubDate><description><![CDATA[Andriatria_男科> 94596个问答对  220606个问答对  183751个问答对  75553个问答对  101602个问答对  115991个问答对 总计 792099条数据。基准进行二次开发，将16种不同的医疗场景NLP任务全部转化为基于提示的语言生成任务,形成首个中文医疗场景的LLM评测基准。中文医疗对话数据集包含了110万条医患对话，该数据集来源于好大夫 (]]></description><category></category></item><item><title><![CDATA[基于Prompt Learning的信息抽取]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/135920387</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/135920387</guid><author>wang2008start</author><pubDate>Mon, 29 Jan 2024 20:48:33 +0800</pubDate><description><![CDATA[清华；liuzhiyuan；通过规则制定subpromptRelation Extraction as Open-book Examination: Retrieval-enhanced Prompt TuningACM SIGIR 22；浙大；chenhuajun & zhangningyu 团队；将关系抽取视为开卷，训练过程中通过[MASK]的向量，构建知识embedding库，以及KNN检索。Inference时，考虑KNN的topn结果，可以提升模型的鲁棒性和在长尾数据上的效果。WWW22；浙大；c]]></description><category></category></item><item><title><![CDATA[Prompt Learning 的几个重点paper]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/135909263</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/135909263</guid><author>wang2008start</author><pubDate>Mon, 29 Jan 2024 16:52:53 +0800</pubDate><description><![CDATA[该方法其实和构造Prompt类似，只是Prompt是人为构造的“显式”的提示，并且无法更新参数，而Prefix则是可以学习的“隐式”的提示。为了防止直接更新Prefix的参数导致训练不稳定和性能下降的情况，在Prefix层前面加了MLP结构，训练完成后，只保留Prefix的参数。移除重参数化的编码器（以前的方法利用重参数化功能来提高训练速度和鲁棒性如：Prefix Tuning 中的 MLP 、P-Tuning 中的 LSTM，但这里作者发现重参数化的改进很小，还会影响模型的表现）。]]></description><category></category></item><item><title><![CDATA[基于对比学习的信息抽取]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/135879244</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/135879244</guid><author>wang2008start</author><pubDate>Sat, 27 Jan 2024 10:43:34 +0800</pubDate><description><![CDATA[对比学习在信息抽取(实体识别和关系抽取)等领域的应用，论文选自ACL、EMNLP、NAACL等，包含论文链接
]]></description><category></category></item><item><title><![CDATA[ERROR: No matching distribution found for setuptools＞=40.8.0 解决方法]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/133814379</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/133814379</guid><author>wang2008start</author><pubDate>Fri, 13 Oct 2023 16:57:42 +0800</pubDate><description><![CDATA[python包安装]]></description><category></category></item><item><title><![CDATA[单机多卡训练]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/124470856</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/124470856</guid><author>wang2008start</author><pubDate>Thu, 28 Apr 2022 12:13:12 +0800</pubDate><description><![CDATA[启动方式的修改

单机单卡的启动

python run.py --model bert



单机多卡的启动，2是卡的个数

python -m torch.distributed.launch --nproc_per_node 2 run.py --model bert


卡的设置方式修改

上面改成分布式启动后，会自动传 local_rank 参数给程序，我们需要解析收到的 local_rank参数并进行设置

parser.add_argument("--local_rank", type=in.]]></description><category></category></item><item><title><![CDATA[EMNLP2021 generation相关论文]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/122257739</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/122257739</guid><author>wang2008start</author><pubDate>Fri, 31 Dec 2021 15:47:40 +0800</pubDate><description><![CDATA[Contrastive Domain Adaptation for Question Answering using Limited Text Corpora
	$Q^2$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering
	A Large-Scale Dataset for Empathetic Response Generation
]]></description><category></category></item><item><title><![CDATA[Low-Resource Knowledge-Grounded Dialogue Generation_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/122250721</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/122250721</guid><author>wang2008start</author><pubDate>Fri, 31 Dec 2021 13:00:31 +0800</pubDate><description><![CDATA[将 transformer 的 encoder-decoder 改为 两个encoder+一个decoder，具体为dialog encoder和knowledge encoder，相加, 通过controller 来学习knowledge部分和 dialog 部分的权重。





整体学习过程分为三阶段，第一阶段将两个 encoder 分别单独学习，第二阶段通过远程监督构造数据集，将两个 encoder 联合学习。通过检索和 dialogue 最相似的 document 构造弱监督伪知识数据集。

..]]></description><category></category></item><item><title><![CDATA[词汇约束的 bart 生成]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/122233191</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/122233191</guid><author>wang2008start</author><pubDate>Thu, 30 Dec 2021 12:18:17 +0800</pubDate><description><![CDATA[方法

生成中包含指定的 keyword（可指定多个keyword）。一般处理此类问题时，把工作放在decoder阶段，这里将主要工作放在 encoder 阶段，encoder 过 softmax 后 进行分类，每个 token 是要进行拷贝/替换/插入（0/1/2） 的 action操作的某种。在decoder时进行相关操作。 生成包含指定keyword的任务，这里需要迭代多次才能完成，首次输入只有指定的keyword，对每个keyword的左右生成相应词，将输出作为第二阶段的输入，如此迭代。结束条件？
]]></description><category></category></item><item><title><![CDATA[Semantic Parsing_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/122224359</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/122224359</guid><author>wang2008start</author><pubDate>Wed, 29 Dec 2021 21:46:44 +0800</pubDate><description><![CDATA[语义解析：将自然语言句子转换成计算机可识别的、可计算的、完全的语义表示，如lambda-表达式、SQL、语义图等

基于深度学习的语义解析方法

seq2seq，seq2tree，seq2act

优缺点：seq2seq仅把语义表示扁平序列化，忽略了层次结构信息。seq2tree 生成层次结构化的语义表示。attention学习词语到词语语义表示之间的软对齐。seq2action 用语义图表示语义，用动作序列编码语义图的构建

目标语言是形式化语言，这里的 decoder 使用严格的约束条件。

基于预训练]]></description><category></category></item><item><title><![CDATA[知识图谱2021 paper_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/122027580</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/122027580</guid><author>wang2008start</author><pubDate>Mon, 20 Dec 2021 16:59:41 +0800</pubDate><description><![CDATA[Improving Conversational Recommender System by Pretraining Billion-scale Knowledge Graph

利用商品图谱 pretrain 得到商品表示，图谱结构信息使用的最简单的 transR 进行，和普通特征一起过推荐排序模型。



重点是商品图谱的构建，由用户 点击/收藏 商品，商品的类别属性，本session的关键词等构件图谱。

Billion-scale Pre-trained E-commerce Product Kn.]]></description><category></category></item><item><title><![CDATA[Emotion-cause span extraction_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/122027476</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/122027476</guid><author>wang2008start</author><pubDate>Sun, 19 Dec 2021 18:27:14 +0800</pubDate><description><![CDATA[emotion cause identification 片段抽取，将造成某种情感的原因抽取出来，片段抽取采用的阅读理解的方式，找到 span 的 start 和 end 位置。



模型先经过Transformer，再经过基于上下文的注意力，基于情感的注意力和基于位置的学习，最后经过全链接，loss 为 span_start + span_end + token_softmax_probability
...]]></description><category></category></item><item><title><![CDATA[fatal: unable to access ‘https://github.com/.git/‘: gnutls_handshake() failed: Error]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/118967723</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/118967723</guid><author>wang2008start</author><pubDate>Wed, 21 Jul 2021 15:30:18 +0800</pubDate><description><![CDATA[vi ~/.gitconfig
[http]
 sslVerify = true


]]></description><category></category></item><item><title><![CDATA[K-BERT,KnowBERT,KEPLER,KELM,K-Adapter,CoLAKE_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/118371860</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/118371860</guid><author>wang2008start</author><pubDate>Wed, 30 Jun 2021 23:25:57 +0800</pubDate><description><![CDATA[K-BERT: Enabling Language Representation with Knowledge Graph.
对于每个句子抽取出三元组，与原始句子合并一起编码position。输入给transformer，对于visible matrix。各个句子part只可见和自己有关的部分，无关的部分不可见。
KnowBERT:Knowledge Enhanced Contextual Word Representations. (EMNLP 2019)
将预训练得到的模型表示，经过知识提取后的知识表示]]></description><category></category></item><item><title><![CDATA[知识图谱与自然语言生成NLG]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/117375853</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/117375853</guid><author>wang2008start</author><pubDate>Sat, 29 May 2021 10:11:22 +0800</pubDate><description><![CDATA[RDF2Text

Few-Shot NLG with Pre-Trained Language Model

Logical Natural Language Generation from Open-Domain Tables
Structural Information Preserving for Graph-to-Text Generation

Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Clo]]></description><category></category></item><item><title><![CDATA[知识图谱与图神经网络_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/117286936</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/117286936</guid><author>wang2008start</author><pubDate>Wed, 26 May 2021 12:08:51 +0800</pubDate><description><![CDATA[图表示学习侧重于图结构的处理。知识图谱嵌入模型和规则学习等更加侧重于语义和逻辑结构特征的学习，更好的知识图谱表示学习方法需要综合利用好语义，逻辑结构的特征学习和图结构的特征学习等多种方法

RGCN: Modeling Relational Data with Graph Convolutional Networks. (ESWC 2018).
COMPGCN: Composition-based Multi-Relational Graph Convolutional Networks. (ICLR 20]]></description><category></category></item><item><title><![CDATA[知识图谱问答_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/117286506</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/117286506</guid><author>wang2008start</author><pubDate>Wed, 26 May 2021 11:58:46 +0800</pubDate><description><![CDATA[基于模版查询
基于语义解析
基于检索排序

基于深度学习

Entity Linking in 100 Languages. (EMNLP 2020).
An End-to-End Model for Question Answering over Knowledge Base with Cross-Attention Combining Global Knowledge. (ACL 2017)
Key-Value Memory Networks for Directly Reading Documents]]></description><category></category></item><item><title><![CDATA[Retrieval Question Answering paper]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/116308231</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/116308231</guid><author>wang2008start</author><pubDate>Fri, 30 Apr 2021 19:12:27 +0800</pubDate><description><![CDATA[这里写自定义目录标题多文档摘要检索辅助生成REALM: Retrieval-Augmented Language Model Pre-TrainingRetrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（RAG）检索器DPR[1]生成器 BART跨数据格式的问答系统Ref
多文档摘要
Hierarchical Transformers for Multi-Document Summarization

段落排序-&gt; 取top段]]></description><category></category></item><item><title><![CDATA[知识图谱与语言预训练_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/111408064</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/111408064</guid><author>wang2008start</author><pubDate>Sat, 19 Dec 2020 17:47:27 +0800</pubDate><description><![CDATA[知识图谱和Bert结合学习使预训练更加有文化
ERNIE: Enhanced Language Representation with Informative Entities 
GPT2和知识图谱结合，生成新的节点和边
COMET : Commonsense Transformers for Automatic Knowledge Graph Construction.ACL2019...]]></description><category></category></item><item><title><![CDATA[人工神经网络_biji]]></title><link>https://blog.youkuaiyun.com/wang2008start/article/details/109906679</link><guid>https://blog.youkuaiyun.com/wang2008start/article/details/109906679</guid><author>wang2008start</author><pubDate>Sat, 21 Nov 2020 20:42:25 +0800</pubDate><description><![CDATA[除去常见的BP反馈传播算法，CNN、LSTM、GRU等网络，记录和学习一些不常见的知识点
Hebb 学习规则
Perceptron 学习规则
winner take-all 学习规则 竞争学习神经网络
SOM 自组织特征映射神经网络
Hopfield神经网络
随机神经网络
Boltzmann机
是由随机神经元组成的二值随机机器，随机神经元以概率方式取两个可能状态之一。Boltzmann机的随机神经元分成两部分，可见部分和隐藏部分。Boltzmann机学习的主要目的是产生一个神经网络，根据Boltzmann分]]></description><category></category></item></channel></rss>