必收藏！文本嵌入（Text Embedding）入门到进阶｜哈工大30+页综述详解

冻感糕人~

墨衍会员 · AI 创作全网分发码龄3年

关注

原创最新推荐文章于 2026-06-30 07:06:22 发布 315 阅读 AI 写同款· GEO 优化 ›

【大模型开发】一文搞懂Embedding工作原理本文将从三个方面，带您一文搞懂。阅读详情

对于程序员、大模型入门小白来说，文本嵌入（Text Embedding）是绕不开的核心知识点——它几乎贯穿了所有NLP任务，检索、分类、聚类、问答、摘要等场景，都能看到它的身影。

随着BERT、T5、LLaMA/Qwen3等**预训练语言模型（PLM）**的快速迭代，文本嵌入彻底告别了“专用化”局限，进入了“通用+可迁移”的新时代，不用再为单一任务重复开发嵌入模型，大大降低了入门和应用门槛。

今天就给大家拆解哈工大这篇30+页的经典综述（论文链接附在文末，建议收藏备用），小白能看懂、程序员能查漏补缺，系统搞懂文本嵌入的核心逻辑，重点解答两个关键问题：

通用文本嵌入（GPTE）的架构、训练数据、核心模型到底是什么？
预训练语言模型（PLM），到底给通用文本嵌入（GPTE）带来了哪些基础能力和高级扩展？

话不多说，先上干货，帮大家快速建立认知框架～

1. 一张图吃透 GPTE 核心架构（小白必看）

-----------------

图1：GPTE 典型架构——Bi-Encoder + 对比学习（核心中的核心）

很多小白看到“架构”就头疼，其实拆解开来特别简单，GPTE的核心架构就4个部分，结合PLM就能快速落地：

骨干网络：任意一款预训练语言模型（PLM）都能当“底座”，比如新手易上手的BERT、T5，或是热门的LLaMA系列，不用自己从零搭建。
池化方式：负责提取核心特征，常用的有4种——CLS、Mean、Last-Token、Prompt-Pooling，小白入门优先掌握Mean池化，简单易操作、通用性强。
训练逻辑：用大规模文本对，搭配InfoNCE对比损失进行训练，核心目的是让“相似文本的向量更近、不相似文本的向量更远”，贴合实际应用场景。
微调技巧：针对具体任务轻量适配即可，不用全量微调（节省算力、提高效率），新手重点学习LoRA、Adapter两种微调方式，入门门槛最低。

补充一句：小白不用纠结“哪种池化最好”，不同任务适配不同方式，先学会用起来，再慢慢优化调整～

Embedding训练数据概览（了解即可，重点看上面的架构拆解）

2. PLM 的「基础角色」：撑起 GPTE 的核心能力

--------------

50种有代表性的开源 GPTE 方法（模型太多不用记，重点看常用款）

PLM作为GPTE的“骨干底座”，其核心作用是提供基础嵌入能力，下面用表格整理了5个关键模块，小白可直接收藏，对应场景找对应方法，程序员可查漏补缺：

模块	关键做法（小白通俗解读）	代表工作（常用款，优先学习）
（1）嵌入抽取	从PLM中提取文本核心特征，4种方式可灵活选择	SBERT、E5、GTE（新手优先学SBERT，文档全、易上手）
（2）长文本处理	解决长文本嵌入失真问题，适配大篇幅文本场景（如文档检索）	Jina-v3、MosaicBERT
（3）训练策略	分阶段训练，先弱监督打底，再用高质量数据优化，提升模型效果	E5-Mistral
（4）学习目标	通过多种目标函数结合，让嵌入向量更精准（不用深钻原理，会用即可）	GTE-MLM、DiffCSE
（5）数据合成	用LLM生成正、负样本，解决训练数据不足的问题，降低落地成本	Promptagator、Qwen3-Emb

这里有个关键结论，小白和程序员必记：模型规模越大、主干（PLM）越强，GPTE 性能越好，但解码器架构需要更多参数，才能和编码器架构的效果匹敌——简单说，新手入门优先选编码器架构（如SBERT），算力充足、追求高性能再考虑解码器架构。

3. PLM 的「高级角色」：GPTE 的进阶方向（程序员重点看）

--------------

随着PLM能力的提升，通用文本嵌入（GPTE）不再局限于单一文本场景，逐渐向多模态、多语言、代码嵌入三个方向进阶，也是目前行业的热门趋势，小白可了解，程序员可重点深耕。

（6）多模态嵌入（热门趋势，适配RAG等高频场景）

说到多模态，大家最熟悉的就是RAG检索（大模型落地高频场景），现在从传统RAG，到multimodal-rag（多模态RAG），已经成为行业主流趋势——简单说，就是不仅能处理文本，还能结合图片、视频等模态进行检索。

另外，目前MLLM（多模态大模型）的能力越来越强，比如刚开源的智谱GLM-4.5v，给一张照片，就能结合自身知识库（比如河流走向、城市结构），精准推理出照片对应的地点，这背后就离不开多模态嵌入的支撑。

下面整理了3款常用多模态嵌入模型，程序员可直接参考选型：

模型	支持模态	训练数据	核心特色（选型重点）
E5-V	文本（T）+ 图像（I）	LLaVA-NeXT	轻量高效，把LLM当作图文编码器，新手也能快速上手
VLM2Vec-V2	文本（T）+ 图像（I）+ 视频（V）	Qwen2-VL	统一视频、图像、文档检索，适配多模态融合场景
MegaPairs	文本（T）↔ 图像（I）	合成500M图文对	数据量庞大，嵌入精度高，适合对效果要求高的场景

表6：多模态嵌入模型全家福（建议收藏，选型直接查）

表7：多模态嵌入数据概览（了解数据来源，助力模型优化）

（7）多语言嵌入（适配跨境、多语言检索场景）

随着大模型的全球化应用，多语言文本嵌入的需求越来越高——简单说，就是让不同语言的相似文本，嵌入向量趋于一致，实现跨语言检索、翻译等功能。

下面整理了2款常用的多语言GPTE模型，覆盖大多数跨境场景，程序员可直接选用：

模型	Backbone（骨干模型）	支持语言数	核心亮点
mE5	XLM-R	100+	中英跨语种零样本检索效果好，适配中英文混合场景
BGE-M3	XLM-R + Long	200+	支持8192 token长文本，多语言+长文本场景首选

表4：多语言 GPTE 模型概览（收藏备用）

表5：多语言 GPTE 训练数据概览

（8）代码嵌入（程序员专属，适配代码检索、代码生成场景）

对于程序员来说，代码嵌入是最实用的进阶方向之一——它能将代码转换成向量，实现代码检索、代码分类、代码生成辅助等功能，提升开发效率。

代码嵌入的发展可分为3个阶段，程序员可结合自身需求，选择对应的模型学习：

早期阶段：以CodeBERT、GraphCodeBERT为主，核心是结合代码结构+文本信息，实现基础的代码嵌入，适配简单代码检索场景。
LLM 时代：CodeLlama、DeepSeek-Coder等模型崛起，可直接用于Code Embedding，不用额外处理代码结构，适配复杂代码场景。
优化阶段：结合对比学习（CL）的模型成为主流，比如UniXcoder、ContraBERT、CodeSage，嵌入精度更高，代码检索、匹配效果更好。

表8：基于 CL 的代码嵌入模型（程序员重点关注）

表9：代码嵌入的训练数据概览

PaperAgent三句话总结（小白必记，程序员查漏补缺）

---------------

\1. PLM 是文本嵌入的“核心底座”，它让文本嵌入从“单一任务专用”走向“通用可迁移”，现在正朝着“多模态+多语言+多任务”的大一统方向发展，落地门槛越来越低。

\2. 目前提升文本嵌入性能的“三板斧”：数据合成（用LLM补全样本）+ 对比学习（优化向量相似度）+ 大模型上下文窗口（适配长文本），小白入门先掌握对比学习，程序员可深耕三者结合的优化技巧。

\3. 文本嵌入的下一步发展，重点不是“向量维度越高越好”，而是要实现“会推理、懂安全、能解耦”，让嵌入模型更贴合实际业务场景，降低落地难度。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】