LlamaIndex在知识库智能问答系统中的高级应用（附实战代码）

原创已于 2025-07-28 16:59:34 修改 · 185 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#ai

于 2025-07-28 16:55:42 首次发布

一、引言

在基础文档检索功能之上，LlamaIndex提供了众多高级特性支持复杂场景：

多模态数据融合
混合检索策略
智能体工作流
生产级性能优化

本文将深入解析这些高级功能的应用场景与实现方式，并提供可运行的代码示例。

二、高级索引策略

2.1 分层索引构建

from llama_index.node_parser import HierarchicalNodeParser
 
# 配置两级文本切割策略
parser = HierarchicalNodeParser(
    chunk_sizes=[1024, 512],  # 第一层1024字符，第二层512字符
    chunk_overlap=64,
    isolated_nodes=True        # 保持独立节点
)
 
index = VectorStoreIndex.from_documents(
    documents,
    transformations=[parser],
    show_progress=True
)

2.2 混合检索模式

query_engine = index.as_query_engine(
    embedding_mode="hybrid",  # 结合向量相似度与关键词匹配
    similarity_top_k=5,
    bm25_top_k=3,             # BM25算法检索结果数
    verbose=True              # 显示检索细节
)

三、多模态数据融合

3.1 图片内容理解

from llama_index.readers import ImageReader

# 加载图片文档
image_docs = ImageReader(
    input_dir="images/",
    image_processor="clip"  # 使用CLIP模型处理图片
).load_data()

# 构建多模态索引
multi_modal_index = VectorStoreIndex.from_documents(
    documents + image_docs
)

3.2 表格数据解析

from llama_index.readers import PandasCSVReader

# 加载CSV表格数据
csv_docs = PandasCSVReader(
    input_file="data.csv",
    index_col="product_id"  # 指定索引列
).load_data()

四、智能体工作流

4.1 多工具集成

from llama_index.agent import OpenAIAgent, Tool

# 创建计算工具
multiply_tool = Tool(
    name="Calculator",
    api_id="call",
    description="执行数学计算",
    request_arguments=[
        {"name": "expression", "schema": {"type": "str"}}
    ]
)

# 创建智能体
agent = OpenAIAgent.from_tools(
    [multiply_tool, query_engine],
    llm=OpenAI(model="gpt-4o-mini"),
    system_prompt="优先使用工具完成计算，再查询文档"
)

# 执行复合查询
response = agent.run("计算2024年Q2营收：500万*1.2增长率是多少？")

4.2 规划型智能体

from llama_index.agent.planner import StepPlanner

planner = StepPlanner(
    tool_use_prompt="分步骤规划",
    response_prompt="逐步执行"
)

agent = OpenAIAgent(
    llm=OpenAI(model="gpt-4o-mini"),
    tools=[query_engine, multiply_tool],
    planner=planner
)

response = agent.chat("分析2024年财报并生成可视化报告")

五、生产级优化方案

5.1 向量数据库集成

# 使用HNSW索引优化
index = VectorStoreIndex.from_documents(
    documents,
    service_context=ServiceContext.from_defaults(
        vector_store_type="hnsw",
        vector_store_kwargs={
            "space": "cosine",
            "dim": 1536
        }
    )
)

5.2 安全增强措施

from llama_index.storage import RedisStorageContext

# 配置Redis持久化存储
storage_context = RedisStorageContext(
    redis_url="redis://localhost:6379",
    prefix="llama_index:",
    serialize_config=SerializeConfig(type="pickle")
)

# 加密敏感文档
encrypted_docs = [
    doc.encrypt(key="my_secret_key") for doc in documents
]

5.3 监控与维护

# 添加查询日志
query_engine = index.as_query_engine(
    callbacks=[
        LogCallback(log_file="queries.log"),
        MetricsCallback()
    ]
)

# 异常检测配置
from llama_index.callbacks import AnomalyDetector

detector = AnomalyDetector(
    threshold=0.7,
    action=lambda x: print(f"异常查询：{x}")
)

六、典型应用场景

6.1 企业知识库

# 配置多级权限控制
from llama_index.core import Settings

Settings.access_control = {
    "admin": ["*"],
    "user": ["finance/*", "hr/*"]
}

6.2 法律文档分析

# 配置条款提取器
from llama_index.extractors import LegalClauseExtractor

extractor = LegalClauseExtractor(
    keywords=["违约责任", "争议解决"],
    min_length=100
)

indexed_docs = extractor.process(documents)

6.3 医疗问答系统

# 配置医学本体库
from llama_index.ontology import MedicalOntology

ontology = MedicalOntology(
    terms_file="mesh_terms.json",
    synonyms=True
)

query_engine = index.as_query_engine(
    ontology=ontology,
    response_mode="clinical_summary"
)

七、完整项目示例

# advanced_kb.py
import asyncio
from llama_index import *
from llama_index.llms.openai import OpenAI

async def main():
    # 加载多模态数据
    docs = SimpleDirectoryReader("docs/").load_data()
    images = ImageReader("images/").load_data()
    
    # 构建分层索引
    parser = HierarchicalNodeParser(chunk_sizes=[1024, 512])
    index = VectorStoreIndex.from_documents(
        docs + images,
        transformations=[parser]
    )
    
    # 配置混合检索
    query_engine = index.as_query_engine(
        embedding_mode="hybrid",
        similarity_top_k=5
    )
    
    # 创建智能体
    agent = OpenAIAgent.from_tools(
        [query_engine],
        llm=OpenAI(model="gpt-4o-mini"),
        system_prompt="请结合文档和图片信息回答"
    )
    
    # 执行查询
    response = await agent.aquery("解释产品架构图并说明技术优势")
    print(response)

if __name__ == "__main__":
    asyncio.run(main())