大模型面试官问：如何在搜推广中利用LLM

面试题：如何在搜推广中利用LLM？

参考答案

近期在搜索与推荐系统领域出现了一个值得注意的趋势：业界开始质疑传统推荐系统中广泛使用的高维特征向量的必要性，转而探索更轻量化且同样高效的用户和物品特征表示方法。这种转变旨在简化模型结构的同时保持或提升推荐效果，显得十分合理。大型语言模型（LLM）在搜推广的落地主要在以下几个方面：

1. 广告Query生成优化：通过微调LLM来生成针对特定落地页的广告Query，以增强文档Query特征。这一过程分为两个阶段：首先，专注于落地页Query生成任务进行初步微调，以拓宽搜索推广的覆盖面；其次，采用多任务联合学习框架对选定广告ID的相关Query进一步微调，期间需考量页面特性及Query词信息等多重因素。

2. 基于对比学习的内容特征生成：利用LLM生成与内容相关的item feature，并借助对比学习策略强化嵌入(embedding)能力。推荐系统的性能很大程度上依赖于对用户和物品间关联性的精准把握。鉴于LLM能在其最后一个特殊标记处（如BERT中的[CLS]标记）捕捉整个句子的语义，这部分输出可作为item feature使用。训练过程中，通过对比最相关和最不相关内容调整该特殊标记，从而改善物品表征质量。

3. 多模态特征输入与大模型微调：除了文本信息外，还向LLM提供额外特征作为输入并实施针对性微调。例如，LLM不仅能够生成推荐系统的摘要或标签，还能直接处理item feature，实现从输入到输出的生成式转换。这些item feature可能涵盖标题、RAG信息、描述等元素。对于user feature的训练，则需省略Token Embedding步骤，区别于标准LLM处理流程。

总的来说，LLM 在搜索和推广领域的应用仍有广阔的发展空间。它不必局限于文字和特征输入，而是可基于搜索推广的目标进行预训练与微调，未来在这一领域依然存在更广阔的市场和应用潜力~

---

有需要全套的AI大模型面试题及答案解析资料的小伙伴，可以微信扫描下方优快云官方认证二维码，免费领取【保证100%免费】