之乎者也·的博客

NLP技术能够将这些庞大且复杂的文本数据转化为可分析、可利用的信息，从而为企业决策、市场研究、用户行为分析等领域提供有力的数据支持。与过去依赖固定关键词的方法不同，NLU能够从用户的自然语言表达中识别出真正的意图，如“订机票”、“查询航班”等，使得机器交互更加自然和智能。不同的语言之间是无法沟通的，需要翻译才能交流，NLP 就是人类和机器之间沟通的桥梁！未来趋势：随着智能家居和智能汽车等领域的快速发展，聊天机器人的应用将进一步拓展，为用户提供更加智能化和个性化的服务体验。

RAG即 Retrieval Augmented Generation 的简称，是现阶段增强使用 LLM 的常见方式之一，其一般步骤为：1. 文档划分（Document Split）2. 向量嵌入（Embedding）3. 文档获取（Retrieve）4. Prompt 工程（Prompt Engineering）5. 大模型问答（LLM）大致的流程图参考如下：通常来说，可将RAG划分为召回（Retrieve）阶段和答案生成()阶段，而效果优化也从这方面入手。

（Function Calling）是OpenAI在今年6月13日对外发布的新能力。根据OpenAI官方博客描述，函数调用能力可以让大模型输出一个请求调用函数的消息，其中包含所需调用的函数信息、以及调用函数时所携带的参数信息。这是一种将大模型（LLM）能力与外部工具/API连接起来的新方式。比如用户输入:使用function calling，可实现函数执行，从而获取函数输出，即得到对应地理位置的天气情况。这其中，location。

对上述的内容进行总结，我们使用对TRECpromptZero-Shot0.7324Few-Shot0.79690.8557显然，Dynamic Few-Shot prompt的效果是最好的，比Zero-Shot prompt的指标高了12%多，而这还是没有对模型进行任何微调的结果！在平时工作中，我们也可以尝试使用Dynamic Few-Shot prompt。

首先，我们先简单地了解下知识蒸馏概念[2]。通常，大模型可能是一个复杂的网络或多个网络的组合，表现出优越的效果和泛化能力。而小模型由于其较小的规模，其表达能力可能受到限制。为了提高小模型的效果，我们可以借助大模型所学习到的知识来指导小模型的训练。这样，小模型在参数数量明显减少的情况下，也能够达到与大模型相似的效果。这种策略就是知识蒸馏在模型压缩中的实践应用。

本文将介绍两种使用keras-bert加载BERT模型的方法。加载的模型为Google官方发布的BERT中文预训练模型。创建的模型为，其中对BERT进行微调。

本文将会对三个实体识别的数据集进行测试，以下是三个数据集的简单介绍。人民日报命名实体识别数据集（example.train 28046条数据和example.test 4636条数据），共3种标签：地点（LOC）, 人名（PER）, 组织机构（ORG）时间识别数据集（time.train 1700条数据和time.test 300条数据），共1种标签：TIME。

如果你在想Self-Attention（自注意力机制）是否和Attention（注意力机制）相似，那么答案是肯定的。它们本质上属于同一个概念，拥有许多共同的数学运算。一个Self-Attention模块拥有n个输入，返回n个输出。这么模块里面发生了什么？从非专业角度看，Self-Attention（自注意力机制）允许输入之间互相作用（“self”部分），寻找出谁更应该值得注意（“attention”部分）。输出的结果是这些互相作用和注意力分数的聚合。

我们的目标是创建一个模型，它能够处理一个句子（就像我们数据集中的句子那样）并且输出1（表明该句子具有正面情感）或者0（表明该句子具有负面情感）。由于每个句子的长度可能会不同，因此需要对句子进行填充（Padding），保持每个句子的输入维度一致，句子填充的长度为该数据集中句子长度的最大值。，这会造成一定的困扰。本文中使用的数据集为SST2，它包含了电影评论的句子，每一句带有一个标签，或者标注为。这样，我们就把之前的每一个句子映射成了1个768维的句子向量，然后就利用。的事儿了，它负责将输入的向量进行分类。

CRF，英文全称为conditional random field, 中文名为条件随机场，是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型，其特点是假设输出随机变量构成马尔可夫（Markov）随机场。较为简单的条件随机场是定义在线性链上的条件随机场，称为线性链条件随机场（linear chain conditional random field）. 线性链条件随机场可以用于序列标注等问题，而本文需要解决的命名实体识别(NER)任务正好可通过序列标注方法解决。

几乎所有的NLP都依赖一个强大的语料库，本项目实现NER的语料库如下(文件名为train.txt，一共42000行，这里只展示前15行，可以在文章最后的Github地址下载该语料库)：NNP NNP……简单介绍下该语料库的结构：该语料库一共42000行，每三行为一组，其中，第一行为英语句子，第二行为每个句子的词性，第三行为NER系统的标注，具体的含义会在之后介绍。

举个例子，比如“小米”这个词，它可能指的是一种谷物，也可能是小米科技公司的名称。在不同的语境中，它的含义可能会有所不同。如果我们分析句子“雷军是小米的创始人”，根据上下文信息，我们可以推断出这里的“小米”指的是小米科技公司，而不是谷物。词义消歧是指在特定的语境中，识别出某个歧义词的正确含义。歧义词是指有多个含义的词语，在不同的语境中可能有不同的含义。词义消歧的目的是根据上下文信息，确定出歧义词在特定语境中的具体含义。通过词义消歧，我们可以更好地理解句子的含义，提高自然语言处理的准确性。

NLP自然语言处理过程

NLP 自然语言处理的过程

计算机视觉算法的基本理论主要建立在图像处理和模式识别的基础上。图像处理技术用于分析和修改数字图像，而模式识别则用于根据图像中的特征进行物体分类和识别。计算机视觉通过这些理论和技术，试图建立能够从图像或者多维数据中获取“信息”的人工智能系统。以上只是CV算法基本理论的一个简要概述，实际上CV算法涉及到的理论和技术非常广泛和深入，需要具体的问题具体分析。

可以处理大量的图像和视频数据：计算机视觉技术可以在很短的时间内处理大量的图像和视频数据，这对于需要处理大量数据的应用场景非常有用，比如医疗图像分析、智能监控等。图像质量和光照条件的影响：计算机视觉技术的表现受到图像质量和光照条件等因素的影响，如果图像质量较差，或者光照条件不理想，可能会影响计算机视觉技术的表现。数据准备的难度：计算机视觉技术需要大量的数据进行训练和优化，而这些数据的标注和准备需要耗费大量的时间和精力。