wangqiaowq的博客

其中数据分为词典和模型，其中词典是词法分析必需的，模型是句法分析必需的，用户可以自行增删替换，如果不需要句法分析等功能的话，随时可以删除。

Transformer仅一个Encoder模块就可以工作，可以处理信息抽取、识别、主体识别等任务，比如 BERT（Bidirectional Encoder Representations from Transformers）是只使用了Encoder，可以从给定的文本段落中找到并提取出回答问题的文本片段，目标是识别或检索信息，而不是生成新的文本序列。

问题描述：之前的流式接口 需要通过调用大模型来生成流式接口的数据，现在需要限制对大模型的调用，节省token成本，对已匹配的答案直接输出到大模型接口即可。1、支持模拟流式接口数据格式，输出流式结果。

249 后台服务启动。

参考：pip3 install clip-client。

参考：下载：bert base chinese。

有效笔记就意味着用户对笔记感兴趣，这将被作为用户不是手滑【停留时间挺长的】，这是真的对这篇笔记感兴趣，这被算作一次有效点击。如果用户在这篇笔记上只有短暂停留瞬间溜了，就意味着用户是手滑，而不是真的对这篇笔记感兴趣，这不会被算作一次有效点击。举个例子，每天笔记展示得100个用户，其中有20个用户点击了点击，那么点击的点击率就是20%的，有很多评价离线实验的指标，后面课程会讲离线实验的结果有参考价值，能大致反映出算法的好坏，但是抖音不太一样，抖音没有曝光的点击，用户下滑，你只能看到一个视频，

无论初始值如何设定，后续的词向量学习算法通常会通过反向传播和梯度更新来调整这些初始向量，使其更好地捕获词汇间的语义关系。例如，在神经网络模型中，词向量作为模型参数的一部分参与训练，随着模型在训练数据上的迭代优化，这些词向量会逐渐收敛到能够较好地表征词汇语义的值。在计算词向量时，稠密张量的初始值通常是由特定的词向量学习算法自动生成的。这些算法旨在将每个词汇映射到一个低维、稠密的向量空间中，使得语义相关的词在该空间中的向量距离较近，而不相关的词则距离较远。

4-8 Prompt-Learning--应用_哔哩哔哩_bilibili

NLP大致的发展历史。从最开始的词袋模型，到RNN，到Transformers和BERT，再到ChatGPT，NLP经历了一段不断精进的发展道路。数据驱动和不断完善的端到端的模型架构是两大发展趋势。NLP技术，全称为Natural language Processing，即自然语言处理技术，也就是用计算机来处理人类语言的学科。这一时期最有代表性的方法是词袋模型(Bag of Words, or BOW)，即统计文章中每个词出现的频率，然后对这个频率的向量进行各种各样的统计分析。

，Milvus当前版本并不支持。这是因为Milvus主要设计用于向量相似度搜索，而其标量数据搜索功能相对有限，尤其是在全文搜索方面。操作符被用于模糊匹配字符串，但其支持的模式匹配能力有限。根据你收到的错误信息，Milvus目前只支持两种类型的。对于中间或结尾的通配符（例如。在Milvus中，虽然。

初探神经网络（原理）上图就是一个人脑的神经元，由多个树突、轴突和细胞核构成，其中树突用来接收电信号、经细胞核加工（激活）信号、最后由轴突输出电信号，人脑大概860亿个神经元细胞，突触相互连接，形成拓扑结构。每个神经元大约有1163～11628个突触，突触总量在14～15个数量级，放电频繁大约在400～500Hz，每秒最高计算量大约40万亿次，换算成当前流行词汇，大脑大概等价于100T参数模型（140B逊爆了），而且有别当前大模型中ReLU激活函数，大脑惰性计算是不用算0值的，效率更高。

有些长尾分布的连续特征需要特殊处理，比如取log，比如做分桶，做完特征处理，得到很多特征向量，把这些向量都拼起来输入神经网络。用户的特征，我们知道用户ID还能从用户填写的资料和用户行为中获取很多特征，包括离散特征和连续特征。用embedding层把用户的离散特征映射成向量，对于每个离散特征，用单独一个embedding层得到一个向量，比如用户所在城市，用一个embedding层。不同类型的连续特征有不同的处理方法，最简单的是做归一化，让特征均值是零，标准差是一。，比如所在城市感兴趣的话题等等。

2、MivusService 封装了 基本操作。// 先根据向量查询语义相近的语料。1、maven 依赖。

需求：需要对文心一言的流式接口数据进行处理 增加属性。增加了 sessionId的属性。// 序列化bean并发送。

模型构建与训练（约 1 周）：了解如何使用 TensorFlow 的高级 API（如 Keras，它集成在 TensorFlow 中，方便快捷地构建模型）来构建常见的神经网络模型（如简单的多层感知机用于分类或回归任务），掌握模型的编译（指定损失函数、优化器、评估指标等）、训练（传入训练数据进行多轮迭代训练）以及预测（对新的数据进行预测输出）的完整流程，通过一个小型的数据集（如 MNIST 手写数字数据集的简化版本）进行模型构建和训练的实践操作，观察训练过程中的损失值、准确率等指标变化情况。

在自然语言处理中，正确理解和处理习用语是非常重要的，因为它们在文本中频繁出现并且对正确理解文本的含义至关重要。这些习用语在日常交流中经常被使用，并且它们的意义往往是约定俗成的，需要通过学习而非字面意义来理解。wky 右括号，全角：） 〕 ］ ｝ 》 】 〗 〉 半角： ) ] { >wkz 左括号，全角：（ 〔 ［ ｛ 《 【 〖 〈 半角：( [ {

bert-as-service, 依赖于。

参考：OpenBMB - 让大模型飞入千家万户【清华NLP】刘知远团队大模型公开课全网首发｜带你从入门到实战_哔哩哔哩_bilibili

在自然语言处理中，正确理解和处理习用语是非常重要的，因为它们在文本中频繁出现并且对正确理解文本的含义至关重要。这些习用语在日常交流中经常被使用，并且它们的意义往往是约定俗成的，需要通过学习而非字面意义来理解。wky 右括号，全角：） 〕 ］ ｝ 》 】 〗 〉 半角： ) ] { >wkz 左括号，全角：（ 〔 ［ ｛ 《 【 〖 〈 半角：( [ {

CLS] 输出向量 和 [MASK] 向量 是BERT（Bidirectional Encoder Representations from Transformers）模型中两个具有特定功能的特殊标记所对应的输出表示，它们在BERT的架构和不同任务中扮演着不同的角色。则是在预训练阶段代表被遮盖词汇的预测表示，用于学习语言模型并通过预测任务提升模型对上下文的理解能力。是针对整个输入序列的全局表示，用于下游任务中对序列的整体属性进行分类或判断，而。

1、在领取 语音识别的免费使用次数 （个人 15万）2、添加依赖3、开发Service4、获取appid等5、开发Controller6、前端代码i、注意依赖的jsii、按钮 主要实现 按住录音 松开上传的功能7、上传后的文件8、主要的问题。

1、先开通 阿里云的向量检索服务按流程申请 最后需要申请API-KEY。

如果指定 window_size = 3，那么生成的窗口将包含三个句子，从嵌入句子的前一个句子开始，跨越到之后的一个句子。除了向量搜索之外，还有其他检索技术，如混合搜索(hybrid search)，通常指的是将向量搜索与基于关键词的搜索相结合的概念。冗余和重复也是一个棘手的问题，特别是当多个检索到的段落包含相似信息时，生成的回复中可能会出现重复的内容。生成回复质量面临着幻觉挑战，即 LLM 生成的答案并没有基于所提供的上下文，和上下文不相关，或者生成的回复存在着包含有害或歧视内容的潜在风险。

在处理文本匹配任务时，模型可能会利用其自编码部分（类似于“对偶式”模型中的独立编码器）来分别编码两段文本，然后通过某种方式（比如注意力机制）让两段文本的表示进行交互，以判断它们的语义相关性。尽管您提到的“对偶式”和“交互式”模型结构通常用来描述文本匹配任务中的两种不同处理策略，但ERNIE 3.0 并不是专门针对文本匹配任务设计的，而是作为一个通用的预训练模型，适用于多种自然语言处理任务，包括但不限于文本分类、语义理解、问答系统、文本生成等。这两种结构各有特点，适用于不同场景和需求。

目前存在的问题有两个方面：一方面，迄今为止的语法都限于分析一个孤立的句子，上下文关系和谈话环境对本句的约束和影响还缺乏系统的研究，因此分析歧义、词语省略、代词所指、同一句话在不同场合或由不同的人说出来所具有的不同含义等问题，尚无明确规律可循，需要加强语用学的研究才能逐步解决。自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务，在回答用户问题时，首先要正确理解用户所提出的问题，抽取其中关键的信息，在已有的语料库或者知识库中进行检索、匹配，将获取的答案反馈给用户。

print(torch.version.cuda)" 返回是 12.1 ，驱动也无法升级，所以重新申请了阿里云的机器 重新安装。# 默认依赖包括基本运行环境（FAISS向量库）。如果要使用 milvus/pg_vector 等向量库，请将 requirements.txt 中相应依赖取消注释再安装。1、安装过程中出现了 GPU驱动版本 是11.8 而。进入：conda activate pytorch。3、创建conda环境。

6、安装docker compose组件。1、linux 已有docker环境。用docker方式按照。

MoE是一种神经网络架构设计，在Transformer模块中集成了专家/模型层。当数据流经MoE层时，每个输入token都会动态路由到专家子模型进行处理。当每个专家专门从事特定任务时，这种方法可以实现更高效的计算并获得更好的结果。MoE最关键的组件：- 专家（Expert）：MoE层由许多专家、小型MLP或复杂的LLM（如 Mistral 7B）组成。- 路由器（Router）：路由器确定将哪些输入token分配给哪些专家。路由策略有两种：token选择路由器或路由器选择token。

在普通平均数中，所有数据点都同等重要，而在加权平均中，每个数据点有一个与其对应的权重值，这个权重反映了该数据点在最终结果中的相对影响程度。在向量代数中，标量与向量是相对的概念，标量可以与向量相乘，从而改变向量的长度但不改变其方向。例如，在三维空间中，如果一个向量的长度为3，一个标量为2，那么这个标量乘以向量的结果将得到一个长度为6，方向不变的新向量。例如，考虑一段时间内多次购入商品的情况，每次购入的数量和单价不同，这时会根据各批次进货的数量（作为权重）和其相应的单价来计算整个库存的平均单位成本。

https://www.bilibili.com/video/BV1UG411p7zv?p=118

遇到的问题：如下 采用paddleNLP下文本分类实例进行分类训练后发现 生成的模型分类不准。打算自己开发脚本进行分类计算再进行服务化部署。

在自然语言处理（NLP）领域，Encoder-Decoder架构是一种深度学习模型结构，它主要用于序列到序列（Sequence-to-Sequence, Seq2Seq）的转换任务，其中输入和输出是两个不同长度的序列。：在深度学习和自然语言处理中的某些任务中，文本可以被视为一个字符序列，每个元素代表文本中的一个字符，这对于处理拼写纠错、生成式模型或基于字符级别的机器翻译等问题非常有用。：这是最常见的形式，指的是文本中按顺序排列的单词列表，例如一个句子就是一个词序列。

由于“我”的ID是1，因此这个向量的第一个元素是1，其他元素都是0（[1，0，0，…文章编码成向量，向量的长度和词典的大小一致，比如词典的大小是3W，稀疏向量表示3W， 每个位置表示这个词有没有在问题中出现过，出现过就是1 倒排索引，一般采用稀疏向量方式，只能做字面匹配 稀疏向量，几百、上千万的文档都支持。表中每一行都存储了一个特定词语的向量值，每一列的第一个元素都代表着这个词本身，以便于我们进行词和向量的映射（如“我”对应的向量值为 [0.3，0.5，0.7，0.9，-0.2，0.03] ）

文本转向量的算法模型由embedding、两层transformer和MLP组成，模型最后会对编码向量做L2归一化，采用典型的双塔模式，可以将左塔的检索词和右塔的文档标题形成独立的子网络，左右塔的结构分离但编码器参数共享，双塔结构天然的可以用于召回，将这个模型部署到小盒子就可以在线计算检索词的向量，将海量的知识库文档作为右塔离线训练成文本向量后刷入向量检索工具Milvus。经过召回和粗排后，可以理解为将重要相关的文档排在了前面，但是距离用户真正的检索意图还有差距，可以使用用户的检索记录对结果再进行排序。

然而，OpenNLP的官方发布版本并没有直接支持中文语言模型。但你可以通过以下步骤使用OpenNLP来处理中文文本： 1. 分词（Tokenization）：由于OpenNLP没有中文分词模型，你可以考虑使用其他中文分词工具，如jieba或HanLP，来进行中文分词。需要注意的是，虽然OpenNLP是一个强大的NLP工具包，但它的官方版本并没有直接支持中文语言模型。其中数据分为词典和模型，其中词典是词法分析必需的，模型是句法分析必需的，用户可以自行增删替换，如果不需要句法分析等功能的话，随时可以删除。

Milvus 基于FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。在向量检索库的基础上，Milvus 支持数据分区分片、数据持久化、增量数据摄取、标量向量混合查询、time travel 等功能，同时大幅优化了向量检索的性能，可满足任何向量检索场景的应用需求。通常，建议用户使用 Kubernetes 部署 Milvus，以获得最佳可用性和弹性。Milvus 采用共享存储架构，​存储计算完全分离​，计算节点支持横向扩展。

结合这些信息，我们可以推断这是一个在CPU上运行的PaddlePaddle张量，用于存储两个样本的多维特征数据（如NLP任务中的嵌入向量或隐藏状态），且每个样本包含6个长度为768的特征向量。中每个样本（或每个时间步等，取决于张量的维度结构）在最后一个轴上的最大值的索引。: softmax函数是一种常用的多分类问题中的归一化函数，它将输入张量中的每个元素转换为其相对于所有元素的相对概率。经过softmax运算后，输出张量中所有元素的和为1，且每个元素的值介于0和1之间，表示对应类别的概率。

4、创建页面 支持 录音 上报 音频文件 等 待开展。3、创建controller 支持上传音频文件。3、创建Service 支持语音转文字。

对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种存储类型供选择，全面优化存储成本。当然 Minio 除了直接作为对象存储使用，还可以作为云上对象存储服务的网关层，无缝对接到 Amazon S3、MicroSoft Azure。Minio 是个基于 Golang 编写的开源对象存储套件，虽然轻量，却拥有着不错的性能。