员力LL-优快云博客

原创 transformers加载huggingface模型报错ValueError: Connection error, and we cannot find……

使用加载模型的from_pretrained(google-bert/bert-base-uncased)方法时报错。

2024-10-10 17:27:28 646 2

端到端任务导向对话（EToD）可以不通过模块化训练直接生成响应，因此越来越受欢迎。深度神经网络的进步，尤其是大型预训练模型的成功应用，近年来进一步推动了EToD研究的发展。在本文中全面综述并提供统一视角来总结现有方法以及最近趋势，以推进EToD研究的发展。面向任务的对话系统（ToD）可以通过自然语言交互帮助用户实现特定目标，例如预订餐厅或查询导航。该领域在学术研究和工业部署中都受到越来越多的关注。

2024-08-05 17:43:27 1124 1

原创论文笔记：《仲景：通过专家反馈和现实世界多轮对话提升大型语言模型的中医能力》

最近大型语言模型（LLMs）方面取得了显著进展，实现了对用户意图的理解和响应。然而，在某些专业领域，如中医，它们的表现仍然落后于一般用例。将中医纳入 LLM 依赖于单轮和蒸馏对话数据的监督式微调（SFT）。这些模型缺乏像医生一样的主动询问能力和多轮理解能力，并且不能将响应与专家的意图对齐。在这项工作中，引入了仲景（Zhongjing），它是第一个基于 LLaMA 的中医学 LLM，从连续预训练、SFT 到从人类反馈中进行强化学习（RLHF）实施了一个完整的训练流水线。

2024-08-05 17:38:51 1744 1

原创论文笔记：预训练大模型综述（NLP相关部分）

预训练基础模型(PFMS)是具有不同数据模式的各种下游任务的基础。PFM(例如BERT、ChatGPT和GPT-4)在大规模数据上进行训练，为广泛的下游应用提供合理的参数初始化。BERT与GPT与传统方法相比具有各自的特点，具体而言：BERT从Transformer中学习双向编码器表示，GPT使用Transformer作为特征提取器，并在大型数据集上训练最近，ChatGPT表现出来卓越的性能，PFM也为人工智能领域带来重大突破许多研究提出了不同的方法、数据集和评估指标，提高了对更新调查的需求。

2024-08-04 20:49:40 1305 1

原创论文笔记：《任务导向对话系统中的持续学习》

在面向任务的对话系统中持续学习可以允许我们随着时间的推移添加新的领域和功能，而不会导致整个系统重新培训的高成本。本文主要工作如下：1）提出了一个面向任务的对话系统的持续学习基准，该系统具有37个领域，可以在意图识别、状态跟踪、自然语言生成和端到端等四种设置下连续学习。2）实现并比较了多个现有的持续学习基线，并提出了一种基于残差适配器的简单而有效的体系结构方法。

2024-07-29 11:18:04 692

原创论文笔记：《Boot-TOD通过调整不同的响应来引导面向任务的对话表示》

预训练语言模型在许多情况下是成功的。然而，由于一般文本和任务导向对话的内在语言差异，它们在任务导向对话中的作用有限。当前以任务为导向的对话预训练方法依赖于一个对比框架（其核心思想是将语义相似的（正）对拉近，同时将语义不相似的（负）对分开），但这种框架面临着选择真积极和假消极以及缺乏多样性等挑战。本文提出了一种新的对话预训练模型Boot-TOD。它通过自举框架（允许模型通过迭代过程自我改进，而不需要外部的监督或额外的训练数据）学习面向任务的对话表示。

2024-07-28 15:18:03 761

原创论文笔记：面向任务（task-oriented）的对话系统综述

本文综述了面向任务（task-oriented）的对话系统的最新进展和面临的挑战。还讨论了面向任务的对话系统的三个关键主题:①提高数据效率 ②建模多轮次对话策略学习 ③将领域本体知识集成到对话模型中。此外，还回顾了对话评价的最新进展和一些广泛使用的语料库。

2024-07-18 16:15:38 892 2

原创《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文笔记

1）基于特征的方法：预训练模型用来提取文本的特征表示。2）基于微调的方法：直接在预训练模型的基础上，针对特定下游任务进行额外训练的过程。通过引入了最少的特定于任务的参数，并通过简单的方式对下游任务进行训练重新调整所有预先训练的参数。看这篇论文纯粹是因为我的导师说，去跑下BERT代码，学习理解一下是很有帮助的，那么作为刨根问底的人，当然先把原论文看一遍啦~~~

2024-04-08 18:33:59 789 1

原创《Linear Classifier: An Often-Forgotten Baseline for Text Classification》论文笔记

上述实验表明，如果使用得当，BERT 可以取得优异的结果，但有时直接运行会导致较差的结果。线性方法可以作为有效和稳健的基线来确认先进方法的正确使用。“（这句话为原文翻译）就一点，在自然语言处理方向应用上，或许考虑一下简单线性模型可以看见一条省时、省钱的道路哦~~~~PS：DDL是第一生产力！！！

2024-03-28 17:09:19 794 1

原创《CAME:Confidence-guided Adaptive Memory Efficient Optimization》论文笔记

1）提出大语言模型（LLM）的鲁棒性依赖于基于自适应梯度优化方法。而如Adam的自适应优化方法需要使用到额外的内存，随着模型规模越来越大，内存限制逐渐变为训练大语言模型的瓶颈。2)最近出现如Adafactor等的优化器，能够将O（mn）的内存需求减少到O（m+n），大致方法就是用一个n×1和一个1×m的向量来近似代替一个n×m的矩阵，减少内存使用，如图：虽说减少了内存的使用，但Adafactor在训练中存在性能下降的问题，这是由于它进行上述分解操作时引入误差，导致训练不稳定。

2024-03-27 22:00:01 1071 1

原创 2023ACL best paper ,仿生人会梦到电子羊吗，论文笔记

纽约客》每周都会发布一张没有字幕的卡通图片，邀请读者提交自己最有趣的英文图片说明。编辑们从成千上万的投稿中选出三个入围者。然后，由读者投票选择最终赢家。（任务1中的标题就来自最终赢家的标题和可能来自其他图片的标题，任务2中的标题来自相同图片读者贡献的标题）1）NYAcc：选出的最终结果是《纽约客》中选出的优胜者2）CrowAcc：选出的最终结果被大众选为高质量的结果（避免编剧个人偏差）论文不仅提供了新的幽默理解任务和数据集，还对不同类型的AI模型进行了深入对比，为后续研究提供了有价值的基准。

2024-03-26 13:20:58 1191 1

原创关于安装pyLDAvis（其他库同理）出现The ‘sklearn‘ PyPI package is deprecated问题解决

报错如下报错出现原因：在使用命令后安装pyLDAvis库，安装过程中，到了这一句就出现了报错。

2024-03-15 13:47:30 2117 3

原创关于在anaconda中虚拟环境已配置好tensorflow但在jupyter notebook中出现No module named ‘tensorflow‘问题解决方法

关于在anaconda中虚拟环境已配置好python和tensorflow但在jupyter notebook中出现No module named ‘tensorflow'

2024-03-10 22:06:56 1477 6

原创关于error: src refspec master does not match any error: failed to push some refs to ‘github.com:github

关于error: src refspec master does not match anyerror: failed to push some refs to 'github.com:yuanlill/Test2.git’问题问题描述在某次使用Git上传代码到Github时出现错误，提示error: src refspec master does not match anyerror: failed to push some refs to 'github.com:Username/Test.

2021-10-01 18:01:38 2093

sfgsdfg2516的博客

转载 VScode相对路径失效看这里