实习手记：基于大模型的搜索引擎开发实践

关注

原创 2025-07-17 00:49:09 1.2k 阅读 AI 写同款· GEO 优化 ›

大模型驱动的新范式选车引擎通过Agent化的方式构建了大模型驱动的生成式搜索引擎GSE，并对其进行了整体评估，在选车场景中传统引擎难以有效应对的长尾问题以及复杂选车问题上，效果独立评估与相对评估（相比传统搜索）上GSE都达到了非常不错的水平，选车体验焕然一新，更加出色。业界实践中，大模型做SFT（Supervised Fine-Tuning，有监督微调）经常会遇到比较棘手的情况，领域上能力增强，但是通用上的能力变得一塌糊涂，各种任务上的评测效果都显著下降，对垂直域上的数据产生过拟合，失去了原有的泛化能力。阅读详情

初入团队：从理论到实践的跨越

五月份开始，我怀着忐忑又期待的心情以线上的方式加入了公司AI研发中心的搜索引擎优化小组。作为一名数据科学与大数据技术专业的学生，这是我第一次参与工业级AI项目的开发，团队的任务是构建一个基于大语言模型(LLM)的新一代搜索引擎。学长在入职第一天就告诉我："我们不是要替代传统搜索引擎，而是要让搜索更智能、更人性化。"这句话成为了我整个实习期的指路明灯。

第一阶段：理解现有架构

1.1 传统搜索的瓶颈

团队首先让我分析了现有搜索引擎的痛点：

关键词匹配的局限性
无法理解用户真实意图
长尾查询效果差
个性化程度不足

# 传统搜索的简单模拟
def keyword_search(query, documents):
    scores = {}
    for doc in documents:
        score = sum(1 for word in query.split() if word in doc)
        scores[doc] = score
    return sorted(scores.items(), key=lambda x: -x[1])

1.2 大模型带来的变革

我们选择LLM作为核心是因为它能：

理解自然语言查询的语义
生成更自然的回答
处理复杂、多轮查询
具备一定的推理能力

第二阶段：原型开发

2.1 检索-重排-生成架构

团队决定采用流行的RAG(Retrieval-Augmented Generation)架构：

用户查询 → 传统检索 → 候选文档 → 大模型重排 → 生成回答

我负责的是重排模块的初期开发：

def rerank_with_llm(query, candidates, model):
    # 构造prompt
    prompt = f"请根据问题'{query}'的相关性对以下文档排序：\n"
    for i, cand in enumerate(candidates):
        prompt += f"{i+1}. {cand[:200]}...\n"
    
    # 调用大模型API
    response = model.generate(prompt)
    return parse_ranking(response)

2.2 遇到的挑战

延迟问题：直接调用大模型API导致响应时间过长
成本控制：每次查询都需要调用大模型，成本高昂
结果不一致：模型有时会产生不符合预期的排序

第三阶段：优化与创新

3.1 混合检索策略

为了解决性能问题，我们设计了混合检索策略：

第一层：传统BM25快速检索
第二层：小型BERT模型精排
第三层：大模型仅处理前10结果

def hybrid_search(query, corpus):
    # 第一层：快速检索
    bm25_results = bm25_search(query, corpus, top_k=100)
    
    # 第二层：神经网络精排
    bert_scores = bert_rerank(query, bm25_results)
    top_10 = [x[0] for x in sorted(zip(bm25_results, bert_scores), 
                                  key=lambda x: -x[1])[:10]]
    
    # 第三层：大模型最终处理
    final_results = llm_rerank(query, top_10)
    return final_results

3.2 查询理解模块

我主导开发了查询理解模块，主要功能包括：

查询意图

分类实体识别与扩展

查询改写建议

def query_understanding(query):
    # 意图分类
    intent = classify_intent(query)
    
    # 实体识别
    entities = extract_entities(query)
    
    # 查询改写
    paraphrases = generate_paraphrases(query)
    
    return {
        'intent': intent,
        'entities': entities,
        'paraphrases': paraphrases
    }

第四阶段：评估与迭代

4.1 评估指标体系

我们建立了多维度的评估体系：

相关性：nDCG@5, nDCG@10
响应速度：P99延迟
用户满意度：点击率、停留时间
商业价值：转化率

4.2 A/B测试结果

经过一个月的A/B测试，新系统表现：

相关性提升32%
长尾查询效果提升45%
用户停留时间增加28%
响应时间增加180ms（仍在可接受范围）

技术难点与突破

5.1 大模型蒸馏

为了平衡效果和性能，我们尝试了模型蒸馏技术：

使用GPT-4生成训练数据
训练小型专用模型
实现90%的效果保留，速度提升5倍

5.2 缓存机制创新

我提出的层级缓存设计被团队采纳：

查询结果缓存
中间表示缓存
模型输出缓存

class SearchCache:
    def __init__(self):
        self.query_cache = LRUCache(10000)
        self.embedding_cache = LRUCache(50000)
        self.llm_cache = LRUCache(1000)
    
    def get(self, query):
        if query in self.query_cache:
            return self.query_cache[query]
        
        # 其他处理逻辑...