jinniulema的博客

传统方法采用retrieve-and-generate 的范式进行检索增强，这种方式一般仅检索一次。本文提出了一种名为的主动检索的方法，可以在生成过程中主动决定何时检索以及检索的内容。具体来说，它迭代式地对 待生成的句子进行预测，如果预测的句子中含有低置信度的token，就使用预测的结果作为query检索相关文档，然后重新生成句子。

大型语言模型通常分两阶段进行训练：（1）对海量原始文本进行无监督预训练，学习通用表征；（2）指令微调和强化学习，更好地适应最终任务和对齐用户偏好。该论文通过训练LIMA来衡量这两个阶段的相对重要性，LIMA是一个65B参数的LLaMa语言模型，在没有任何强化学习或人类偏好建模的情况下，只对1000个精心策划的prompts和responses进行了标准监督损失的微调。LIMA表现出了非常强大的性能，只从训练数据中的少数几个例子中学习到了特定的响应格式，包括一些复杂的查询。

预训练的语言模型在生物医学领域引起了越来越多的关注，这是受其在一般自然语言领域的巨大成功的启发。在自然语言领域的预训练语言模型的两个主要分支，即BERT（及其变体）和GPT（及其变体）中，第一个分支已经在生物医学领域得到了广泛的研究，如BioBERT和PubMedBERT。虽然它们在各种鉴别性的下游生物医学任务上取得了巨大的成功，但由于缺乏生成能力，限制了它们的应用范围。文章提出了BioGPT，一个针对特定领域的生成性Transformer语言模型，在大规模生物医学文献上进行了预训练。

收录命名实体识别NER的文章、文献、综述、解读等

《深度学习进阶：自然语言处理》jupyter notebook的ipynb代码，并加入了笔记，更利于学习。仓库地址：https://gitee.com/taurus_horse/nlp-from-scratch。源代码可在“随书下载”处获取：https://www.ituring.com.cn/book/2678。