一文解读Qwen3文本嵌入与重排序技术版图，零基础小白收藏这一篇就够了！！

最新推荐文章于 2025-08-21 11:38:06 发布
原创 最新推荐文章于 2025-08-21 11:38:06 发布 · 772 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #dify #langchain #embedding #RAG #LLM #程序员

前言

文本嵌入和重排序是自然语言处理和信息检索应用中的关键组件。

高质量的嵌入能够使模型捕捉文本之间的语义关系，而有效的重排序机制则确保最相关的结果被优先展示。

Qwen3 Embedding、 Qwen3 Rerank模型基于 Qwen3 基础模型的密集版本构建，提供 0.6B、4B 和 8B 参数三种尺寸。

模型架构

【AI大模型教程】一文解读Qwen3文本嵌入与重排序技术版图，零基础小白收藏这一篇就够了！！_#大模型学习

Embedding模型
  • 使用带有因果注意力的 LLMs，并在输入序列末尾添加 [EOS] 令牌，最终嵌入从最后一层对应 [EOS] 令牌的隐藏状态中得出。
  • 当输入一个查询 q\和文档 d时，模型首先将它们与指令i连接成一个单一的输入上下文，然后通过 LLMs 进行处理。
  • 模型的输出是基于指令i的查询和文档的相似性分数，该分数通过计算 LLMs 最后一层对应 [EOS] 令牌的隐藏状态来得出。
  • 这种基于指令的嵌入方式使得模型能够根据不同的任务需求调整嵌入的语义表示，从而提高在各种下游任务中的适用性和性能。
  • 基于 InfoNCE 框架的改进对比损失函数进行优化。该损失函数定义为：

其中 s(·, ·) 为相似性函数（使用余弦相似性），为温度参数，为归一化因子，聚合正样本对与各种负样本对之间的相似性分数。

  • 借助动态 Mask 策略（当某个批内示例与正例的相似度过高或本身就是正例时，将相应相似度置为 0，以减小“伪负例”对模型的干扰）。
ReRanker模型
  • 采用点式重排序策略，将文本相似性评估任务转化为一个二元分类问题，即判断文档 d是否满足查询 q的要求。
  • 为了实现这一目标，模型在输入上下文中包含了指令 i，并使用 LLMs 的聊天模板来处理输入。
  • 对于重排序模型，优化监督微调（SFT）损失函数：

其中 表示由 LLM 赋予的概率，标签 l 对于正文档为“yes”，对于负文档为“no”。

训练方案

【AI大模型教程】一文解读Qwen3文本嵌入与重排序技术版图，零基础小白收藏这一篇就够了！！_#人工智能_02

  • stage1: 弱监督预训练（Weakly Supervised Pre-Training）

  • 利用大规模“合成”数据进行初始训练，以提升模型的泛化能力与多任务适应性。

  • 将原始多语种文档转化为“查询-文档”对。

  • 例如，在“Configuration”阶段为每段文档挑选角色（Character）、问题类型（Question_Type）、难度（Difficulty）；

  • 再在“Query Generation”阶段根据上述配置生成用户角度的查询句。

  • 最终合成约 1.5 亿 对多任务弱监督训练数据，涵盖信息检索、比对挖掘（bitext mining）、分类、语义相似度等多种任务类型。

  • stage2: 有监督微调（Supervised Fine-Tuning）

  • 在弱监督预训练模型的基础上，利用“小而精”的有监督数据进一步提升模型性能

  • 在弱监督阶段合成的 1.5 亿对数据中，先对每对样本计算余弦相似度（cosine similarity），保留相似度大于 0.7 的高质量样本，约 1200 万 对，作为辅助有监督训练数据。

  • 对嵌入模型沿用 InfoNCE 损失进行微调；重排序模型直接采用（二分类交叉熵）

  • stage3: 模型合并（Model Merging）

  • 在有监督微调阶段保存的多个检查点（checkpoints）之间，通过球面线性插值（slerp）技术，将不同阶段或不同任务偏好模型进行“合并”，提高最终模型的鲁棒性与稳健性。

  • 球面线性插值（slerp）：将多个检查点的参数按一定权重合成，生成新的“混合”模型。

实战

import torch
import torch.nn.functional as F
from torch import Tensor
from modelscope import AutoTokenizer, AutoModel
def last_token_pool(last_hidden_states: Tensor,
                 attention_mask: Tensor) -> Tensor:
    left_padding = (attention_mask[:, -1].sum() == attention_mask.shape[0])
    if left_padding:
        return last_hidden_states[:, -1]
    else:
        sequence_lengths = attention_mask.sum(dim=1) - 1
        batch_size = last_hidden_states.shape[0]
        return last_hidden_states[torch.arange(batch_size, device=last_hidden_states.device), sequence_lengths]
def get_detailed_instruct(task_description: str, query: str) -> str:
    return f'Instruct: {task_description}\nQuery:{query}'
def tokenize(tokenizer, input_texts, eod_id, max_length):
    batch_dict = tokenizer(input_texts, padding=False, truncation=True, max_length=max_length-2)
    for seq, att in zip(batch_dict["input_ids"], batch_dict["attention_mask"]):
        seq.append(eod_id)
        att.append(1)
    batch_dict = tokenizer.pad(batch_dict, padding=True, return_tensors="pt")
    return batch_dict
# Each query must come with a one-sentence instruction that describes the task
task = 'Given a web search query, retrieve relevant passages that answer the query'
queries = [
    get_detailed_instruct(task, 'What is the capital of China?'),
    get_detailed_instruct(task, 'Explain gravity')
]
# No need to add instruction for retrieval documents
documents = [
    "The capital of China is Beijing.",
    "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun."
]
input_texts = queries + documents
tokenizer = AutoTokenizer.from_pretrained('Qwen/Qwen3-Embedding-8B', padding_side='left')
model = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-8B')
# We recommend enabling flash_attention_2 for better acceleration and memory saving.
# model = AutoModel.from_pretrained('Qwen/Qwen3-Embedding-8B', attn_implementation="flash_attention_2", torch_dtype=torch.float16).cuda()
eod_id = tokenizer.convert_tokens_to_ids("<|endoftext|>")
max_length = 8192
# Tokenize the input texts
batch_dict = tokenize(tokenizer, input_texts, eod_id, max_length)
batch_dict.to(model.device)
outputs = model(**batch_dict)
embeddings = last_token_pool(outputs.last_hidden_state, batch_dict['attention_mask'])
# normalize embeddings
embeddings = F.normalize(embeddings, p=2, dim=1)
scores = (embeddings[:2] @ embeddings[2:].T)
print(scores.tolist())

我们该怎样系统的去转行学习大模型 ？

很多想入行大模型的人苦于现在网上的大模型老课程老教材，学也不是不学也不是，基于此我用做产品的心态来打磨这份大模型教程，深挖痛点并持续修改了近100余次后，终于把整个AI大模型的学习门槛，降到了最低！

在这个版本当中：

第一不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言

您只需要听我讲，跟着我做即可，为了让学习的道路变得更简单，这份大模型教程已经给大家整理并打包分享出来, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉优快云大礼包🎁：全网最全《LLM大模型学习资源包》免费分享（安全链接，放心点击）👈

​

​

一、大模型经典书籍（免费分享）

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套大模型报告（免费分享）

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
在这里插入图片描述

三、大模型系列视频教程（免费分享）

在这里插入图片描述

四、2025最新大模型学习路线（免费分享）

我们把学习路线分成L1到L4四个阶段，一步步带你从入门到进阶，从理论到实战。

在这里插入图片描述

L1阶段:启航篇丨极速破界AI新时代
​​​​​​​L1阶段：我们会去了解大模型的基础知识，以及大模型在各个行业的应用和分析；学习理解大模型的
核心原理、关键技术以及大模型应用场景。

在这里插入图片描述

L2阶段：攻坚篇丨RAG开发实战工坊

L2阶段是我们的AI大模型RAG应用开发工程，我们会去学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。

在这里插入图片描述

L3阶段：跃迁篇丨Agent智能体架构设计

L3阶段：大模型Agent应用架构进阶实现，我们会去学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造我们自己的Agent智能体。

在这里插入图片描述

L4阶段：精进篇丨模型微调与私有化部署

L4阶段：大模型的微调和私有化部署，我们会更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调；并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。

在这里插入图片描述

L5阶段：专题集丨特训篇 【录播课】

在这里插入图片描述
全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方二维码，免费领取

👉优快云大礼包🎁：全网最全《LLM大模型学习资源包》免费分享（安全链接，放心点击）👈

​

Llama-Turbo
关注
Qwen3-Max深度解析：阿里最强 AI 大模型全面升级，性能领先，Just Scale it！
Code_流苏：在代码中寻诗意，在实践中觅真知
09-24 2474
嗨，我是流苏👋，今天我们来聊聊阿里最新的旗舰大模型Qwen3-Max，这是今年阿里云栖大会中亮相的重点模型，一起来看看！
Qwen3系列：Embedding模型、Reranker模型
u013250861的博客
07-13 426
引用说明：技术细节综合自Qwen官方技术报告及多源实测分析[14][11]。以下是Qwen3系列中。
Qwen3-Embedding
xxwtiancai的博客
06-30 492
本文介绍了文本嵌入和重排序模型的联合训练方法。嵌入模型采用对比学习，通过拼接指令+查询+文档作为输入，输出文本向量表示；重排序模型则基于指令+查询+文档对进行SFT训练，输出相似度分数。训练数据采用角色特性增强的合成方法，通过角色匹配和提问生成提高多样性。训练策略采用两阶段方法，嵌入模型使用对比学习，重排序模型仅用两阶段训练。实验表明，模型融合可显著提升效果，最终配置实现了最优性能。该方法支持自定义任务，可根据实际需求选择向量维度。
Qwen3 Embedding 结构-加载-训练 看透模型设计哲学
酌沧
06-20 2096
作为整个句子的代表。对于因果语言模型（Causal LM）来说，这非常合理，因为模型在预测最后一个token时，其隐藏状态已经编码了前面所有文本的精华信息。这就像读完一整篇文章后，脑子里形成的那个最终总结，信息量最大！🚀fill:#333;color:#333;color:#333;fill:none;输出与应用核心计算流程(modules.json)输入与预处理Token IDs处理后Token IDs序列Token向量单句向量最终Embedding最终向量余弦相似度计算。
Qwen3-Embedding-8B：文本嵌入界的“卷王”，多语言检索新标杆！
许泽宇的技术分享
06-11 4266
先来个官方介绍：Qwen3-Embedding-8B，是Qwen家族的最新专有嵌入模型，专为文本嵌入和排序任务设计，参数量高达8B（80亿），支持100+自然语言和多门编程语言，继承Qwen3系列的长文本理解、多语言、推理能力。但光说这些，怕你没感觉。文本嵌入，就是把一段文字变成一串“高维向量”，让机器能“理解”文本之间的相似关系。比如你问“北京是中国的首都吗？”，它能把“北京是中国的首都”这句话和你的问题变成很接近的向量，方便检索、排序、聚类、分类等一系列操作。8B参数量。
Qwen3 Rerank模型：相较于其他rerank模型，特殊在哪？
主更ML和LLM的相关安装教程、坑点、及时资讯
07-11 2385
阿里巴巴发布开源重排序模型Qwen3-Reranker，在性能、多语言支持和灵活性上实现突破。该模型提供0.6B至8B三种参数量级，支持119种语言，其中8B版本在MTEB-R评测中达77.45分，代码检索准确率超81分。采用创新的单塔交叉编码架构和长文本处理技术，特别优化专业领域应用。目前已完全开源，支持从边缘设备到云端的多样化部署，显著提升搜索、RAG系统等场景的准确性，电商搜索转化率提升22%。
全流程部署Qwen3-Rerank-8B嵌入模型（dify和ragflow 都可支持添加到rerank 模型）
萌新知识小课堂
06-19 3998
全流程部署Qwen3-Rerank-8B重排序模型
Qwen3 Embedding：多语言文本表示与重排序模型详解
最新发布
qq128252的博客
08-21 1062
本文详细介绍了Qwen3 Embedding系列模型——构建多语言文本表示与重排序的强大模型体系。该系列模型代表了文本嵌入和重排序技术的最新突破，在多个国际基准测试中取得了SOTA（State-of-the-Art）性能。文档涵盖了从基础概念到高级实现的全方位内容，包括模型背景、架构设计、训练方法、性能评估、源码实现分析以及实际应用案例等。
llama-factory微调Qwen2.5-7B-instruct实战，看这一篇就够了！！！（含windows和linux）
a1105425455的博客
03-20 2240
llama-factory微调Qwen2.5-7B-instruct实战，看这一篇就够了！！！（含windows和linux）
Qwen3 Embedding:新一代文本表征与排序模型
让算法融入生活，改变生活！
08-02 984
Qwen3 Embedding 系列模型分别有 0.6b, 4b, 8b 的 Embedding 和 Reranker 模型。该系列模型专为文本表征、检索与排序任务设计，基于 Qwen3 基础模型进行训练，充分继承了 Qwen3 在多语言文本理解能力方面的优势。在多项基准测试中，Qwen3 Embedding 系列在文本表征和排序任务中展现了卓越的性能。主要特点如下：卓越的多功能性：该嵌入模型在广泛的下游应用评估中达到了最先进的性能。
文本分类任务Qwen3-0.6B与Bert：实验见解
qq_20144897的博客
05-16 1889
本文通过实验比较了Qwen3-0.6B和Bert在文本分类任务中的表现。实验使用AG News数据集，Bert通过添加线性层进行微调，而Qwen3-0.6B则通过构造Prompt进行SFT训练。结果显示，Bert在测试集上的F1得分为0.945，而Qwen3-0.6B的F1得分为0.944，两者表现接近。实验表明，尽管Qwen3-0.6B参数量较大，但在文本分类任务中并未显著优于Bert。实验还指出，Qwen3-0.6B的训练成本较高，且存在过拟合风险。结论认为，在文本分类任务中，Bert仍是一个高效且稳定
PyTorch强化学习——PyTorch基础详解
AAI666666的博客
02-02 2066
我们将使用 PyTorch 作为实现强化学习算法的数值计算库。PyTorch 是 Facebook 开发的科学计算和机器学习库，张量 (Tensor) 是 PyTorch 中的核心数据结构，类似于 NumPy 中的 ndarray。
Qwen3-Embedding：原理解读和检索场景测试
兴趣使然的创作者
06-29 1947
2025.6.6，通义千问团队发布了 Qwen3-Embedding 和 Qwen3-Reranker 系列。两组模型一块训练发布，本文侧重于前者进行分析和测试。开源地址：https://github.com/QwenLM/Qwen3-Embedding截至目前，在 METB Leaderboard 中，以检索任务(Retrieval)进行排名，Qwen3-Embedding 位居榜首。作为参考，之前常用的 bge-m3 模型排第30位。技术报告：https://github.com/QwenLM/Qwen
Qwen3 Embedding&Reranker
顺其自然~专栏
06-11 1919
Qwen3 Embedding 是基于 Qwen3 基础模型训练的文本嵌入模型系列，能够将离散的、高维的符号（如文字、图片、声音等）转化为低维、连续的数字向量（Vector）的转化技术。通过捕捉不同数据点在嵌入空间中的距离远近，它能挖掘出它们之间隐藏的语义关系。这样，模型就可以在不真正“理解”语言的前提下，通过数学运算模拟出对语言的理解能力 —— 让模型“算得更少，懂得更多”。📌 举个例子假设我们有三句话：“苹果手机真好用”“我有一部 iPhone”“今天天气不错”
为什么用Qwen3 embedding和rerank
周博洋的博客
06-22 1231
它这个也和传统的rerank不一样，传统的单塔rerank一般是最后一层liner输出个logit，但是它是用system prompt来让rerank模型生成yes|no，然后输出yes的概率得分，（score = P("yes") / (P("yes") + P("no"))包括为了兼容这块你最好还要做padding的左移，总之现有的代码你想用，是要进行变更的。用户提出了一个口语化的问题，你不希望直接从那些冗长的答案中查找，而是希望先找到与用户问题最相似的“标准问题”，再把相应的标准答案返回给用户。
【AIGC】Qwen3-Embedding：Embedding与Rerank模型新标杆
LeeZhao的博客
06-12 2410
Qwen3-Embedding：文本嵌入与重排序模型的技术解析与应用实践
深度解析 Qwen3 Embedding：基于大模型的文本嵌入与重排序技术突破
2301_76168381的博客
06-10 1113
在自然语言处理与信息检索领域，文本嵌入与重排序技术始终是支撑搜索引擎、问答系统、推荐系统等核心应用的底层基石。随着大语言模型（LLM）的快速发展，如何将其强大的语义理解能力注入传统嵌入与重排序框架，成为学术界与工业界共同探索的前沿方向。近日，阿里巴巴通义实验室的研究员们提出了基于Qwen3大模型的新一代文本嵌入与重排序模型系列，在多语言语义表征、复杂指令理解及跨模态检索等任务上实现了突破性进展。
Qwen3 Reranker模型可以微调吗？
weixin_43556377的博客
07-05 2772
Qwen3-Reranker支持LoRA/QLoRA高效微调，Apache-2.0许可商用。官方提供完整训练脚本（支持FP16/4-bit），推荐准备5-10万对正负样本，单卡可微调0.6B模型。微调后保留LoRA权重或合并部署，可显著提升专属知识库排序效果。进阶技巧包括多语言适配、RAG全链路优化和联合蒸馏等。开源代码见Qwen3-Embedding仓库，详细参数参考技术文档。
开源AI新协议！AI Agent与前端交互的轻量级协议，轻松构建交互式AI应用！
bugyinyin的博客
06-04 1337
AI Agent 的兴起让前端交互需求激增，但传统开发中，连接Agent后端与前端需大量定制代码，效率低下。 在 MCP（模型上下文协议）、A2A（Agent-to-Agent 通信协议）之后，AI Agent 的生态正在走向一个更完整的方向：AG-UI 协议横空出世，专为 Agent 与前端应用的通信交互而设计。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值