LLM表征叠加的高效融合策略

LLM表征工程中，怎么将表征和原问题进行相良叠加最有效

在LLM表征工程中，“表征与原问题的有效叠加”本质是让模型同时利用原问题的语义信息和任务相关的表征信息（如检索到的知识、历史对话特征、领域特定向量等），从而提升任务表现（如问答准确性、推理逻辑性）。

常见有效叠加方式及原理

1. 拼接式叠加（Concatenation）

方法：将原问题的表征（如LLM对问题的编码向量）与目标表征（如检索到的文档嵌入）直接拼接，作为新的输入向量传递给后续模型（如LLM的解码器或分类头）。
原理：保留两者的原始语义结构，让模型通过后续计算自主学习关联（适合表征维度一致、信息独立的场景）。

举例：检索增强生成（RAG）中

• 原问题：“爱因斯坦的相对论首次发表于哪一年？”，其表征为Q_emb（LLM对问题的768维编码）。
• 检索到的文档表征：D_emb（同维度的文档编码，包含“1905年爱因斯坦发表狭义相对论”等信息）。
• 拼接后输入：[