weixin_41496173的博客

在自然语言处理（NLP）任务中，命名实体识别（NER）通常涉及两个关键步骤：词典匹配和模型预测。词典匹配的优势在于速度快、准确性高，但由于词典的有限性，不同人群对相同实体的表达方式各异，导致新词（OOV）问题普遍存在。为缓解OOV问题，可以通过模型预测提升泛化能力，同时在离线环境中挖掘新词以补充实体库。本文将结合美团提到的一种新词挖掘方法，详细解读离线新词发现的流程，分享该方法在实际工作中的应用效果。

关键词的提取，或者说文本标签的提取，是文本处理任务中非常重要的一环。例如，句子“今天这顿烧烤是真不错啊”，其中的关键词或标签“烧烤”就能反映出这句话的主题，同时隐含着它与“美食”类别相关的信息。在文本分类任务中，这些标签往往可以帮助模型更好地理解文本；在推荐系统中，标签还可以用于召回合适的内容。关键词的提取主要分为两类：**抽取式**和**生成式**。与生成式方法相比，抽取式方法的优点在于结果更加可控，尽管生成式可能会生成一些不相关或不符合预期的关键词。我们重点讨论**抽取式关键词提取**，它可以分为两

大模型参数高效微调技术总结与对比

**预训练学知识**，**指令微调学格式**，**强化学习对齐人类偏好**，所以要想大模型有领域知识，得增量预训练（靠指令微调记知识不靠谱，不是几十w条数据能做到的）。

有监督微调基本概念

1. **计算资源需求**\*\*：\*\* 训练大型语言模型需要大量的计算资源，包括高端 GPU、大量的内存和高速存储器。这可能限制了许多研究人员和组织的训练能力，因为这些资源通常很昂贵。2. **数据需求**\*\*：\*\* 训练大型语言模型需要大规模的数据集，这些数据集通常需要大量的标注和清洗工作。获取高质量的数据可能是一项困难和昂贵的任务。3. **长时间训练**\*\*：\*\* 训练大型语言模型需要大量的时间。特别是对于巨型模型，训练可能需要数周甚至数月的时间，这增加了实验的时间和成

大模型训练数据格式常见问题

今天分享一个论文[ACL2020-tBERT](https://www.aclweb.org/anthology/2020.acl-main.630.pdf, "tBERT: Topic Models and BERT Joining Forces for Semantic Similarity Detection")，论文主要融合主题模型和BERT去做语义相似度判定，在特定领域使用这个模型，效果更明显。

今天分享一个论文[UniLM](https://arxiv.org/pdf/1905.03197.pdf, "Unified Language Model Pre-training for Natural Language Understanding and Generation")，核心点是掌握三种LM任务形式：单向LM，双向LM，序列到序列LM；

1. 为什么Bert做无监督文本匹配效果不好？是因为bert的输出携带的语义信息太少还是我们没有正确的利用挖掘这些语义信息2. 如果说是因为没有正确挖掘利用这些语义信息，那么我们怎么使用无监督的方式，让这种语义信息很容易的被利用

Bert的改进工作

论文标题《FastBERT: a Self-distilling BERT with Adaptive Inference Time》。

Transformer面试题合辑

transformer并行化

Decoder模块

layer-norm比BatchNorm好在哪里

谈一下相对位置编码RPR经过线性变化之后，正余弦函数表示的相对位置信息消失，所以需要优化。一般来讲，谈到优化，三种比较有名：RPR； Transformer-XL；complex embeddings；我在这个文章简单讲一下RPR。老样子，不涉及到公式推导，尽量把我的理解讲出来。

对于使用场景来说，BN在MLP和CNN上使用的效果都比较好，在RNN这种动态文本模型上使用的比较差。

Transformer 原版的位置编码也就是正余弦函数编码，表达的是绝对位置信息，同时包含相对位置信息。但是经过线性变化，相对位置信息消失。基于此，需要对位置编码进行优化。

3分钟从零解读Transformer的Encoder

2025秋招NLP算法面试真题(四)- 解决老大难问题-如何一行代码带你随心所欲重新初始化bert的某些参数(附Pytorch代码)

Pytorch代码分析--如何让Bert在finetune小数据集时更“稳”一点

史上最全Transformer面试题：灵魂20问帮你彻底搞定Transformer

史上最全Transformer面试题

2025秋招NLP算法面试真题目录