关于作者
- 深耕领域:大语言模型开发 / RAG 知识库 / AI Agent 落地 / 模型微调
- 技术栈:Python | RAG (LangChain / Dify + Milvus) | FastAPI + Docker
- 工程能力:专注模型工程化部署、知识库构建与优化,擅长全流程解决方案
「让 AI 交互更智能,让技术落地更高效」
欢迎技术探讨与项目合作,解锁大模型与智能交互的无限可能!
Jieba 中文分词:从基础到 LLM 应用的实践指南
为什么中文分词如此重要?
想象一下,你正在构建一个智能客服系统。用户输入"我想买一部华为手机",系统需要理解用户意图。对于英文,单词之间有天然的空格分隔,但中文没有这个便利。"华为手机"是一个词还是两个词?这个问题的答案直接影响后续的意图识别和槽位填充。
这就是中文分词的核心价值——它是中文自然语言处理的第一道门槛,也是通往大模型应用的基石。
Jieba 的设计哲学
Jieba(结巴分词)诞生于 2012 年,名字来源于"结巴"这个中文词,寓意"虽然说话结巴,但能准确表达意思"。这个设计哲学贯穿至今:简单、实用、可靠。
核心算法:词典 + 统计的混合策略
Jieba 并非单一算法,而是巧妙融合了三种技术:
前缀词典 让 Jieba 能够快速判断一个字是否能作为词的开头。当处理"研究生命的起源"时,Jieba 会构建一个有向无环图(DAG),记录每个位置可能形成的词语:
位置 0 ("研"): 可以组成 "研究" (到位置2)
位置 2 ("生"): 可以组成 "生命" (到位置4)
位置 5 ("起"): 可以组成 "起源" (到位置7)
动态规划 则在所有可能的切分路径中,找到概率最大的一条。这就像在迷宫中找最短路径——每条路径都有权重(词频),我们需要找到总权重最大的那条。
HMM 模型 是 Jieba 的秘密武器。当遇到词典中没有的词时,比如"杭研"(杭州研究院的简称),Jieba 会根据字的成词能力进行预测。这就是为什么即使你的词典里没有"杭研",Jieba 也能正确识别它。
三种分词模式:选择合适的工具
Jieba 提供了三种分词模式,每种都有其适用场景。理解它们的差异,是在实际项目中做出正确选择的关键。
精确模式:追求准确的艺术
精确模式是 Jieba 的默认模式,它的目标是"切分得最准确"。
import jieba
text = "深度学习改变了自然语言处理领域"
result = jieba.lcut(text)
print(result)
# ['深度', '学习', '改变', '了', '自然语言', '处理', '领域']
在 LLM 应用中,精确模式特别适合:
- 意图识别:将用户输入精确切分后,匹配预定义的意图模板
- 槽位填充:提取关键实体,如时间、地点、人名
- 知识库检索:将查询精确分词后,在向量数据库中检索
全模式:速度优先的策略
全模式会扫描出所有可能的词语组合,速度极快但会产生冗余。
text = "深度学习改变了自然语言处理领域"
result = jieba.lcut(text, cut_all=True)
print(result)
# ['深度', '学习', '改变', '了', '自然', '自然语言', '语言', '处理', '领域']
注意到区别了吗?“自然语言"被切分成了"自然”、“自然语言”、"语言"三个词。这种"过度切分"在某些场景反而是优势:
- 搜索引擎索引:用户可能搜索"自然语言",也可能搜索"语言处理",全模式确保都能匹配
- 关键词扩展:在 RAG 系统中,全模式可以帮助扩展检索范围
搜索引擎模式:精确与召回的平衡
搜索引擎模式是精确模式的增强版,它在精确切分的基础上,对长词进行二次切分。
text = "小明毕业于中国科学院计算所"
# 精确模式
print("精确:", jieba.lcut(text))
# ['小明', '毕业', '于', '中国科学院', '计算所']
# 搜索引擎模式
print("搜索:", jieba.lcut_for_search(text))
# ['小明', '毕业', '于', '中国', '科学', '学院', '科学院', '中国科学院', '计算', '计算所']
这种模式的设计初衷是为搜索引擎构建倒排索引——当用户搜索"科学院"时,也能找到包含"中国科学院"的文档。
模式选择决策树
在 LLM 应用中的实践
场景一:RAG 系统的文档预处理
在构建 RAG(检索增强生成)系统时,文档预处理的质量直接影响检索效果。Jieba 在这个流程中扮演着重要角色。
import jieba
from typing import List
class DocumentProcessor:
"""
RAG 系统文档预处理器
负责将原始文档转换为可检索的文本块
"""
def __init__(self, custom_words: List[str] = None):
if custom_words:
for word in custom_words:
jieba.add_word(word)
def process(self, text: str, chunk_size: int = 500) -> List[dict]:
"""
处理文档,生成带有关键词的文本块
Args:
text: 原始文档文本
chunk_size: 文本块大小
Returns:
文本块列表,每个块包含文本和关键词
"""
from jieba import analyse
chunks = []
for i in range(0, len(text), chunk_size):
chunk_text = text[i:i + chunk_size]
keywords = analyse.extract_tags(
chunk_text,
topK=10,
withWeight=True
)
chunks.append({
"text": chunk_text,
"keywords": [kw[0] for kw in keywords],
"keyword_weights": dict(keywords),
"tokens": jieba.lcut(chunk_text)
})
return chunks
processor = DocumentProcessor(custom_words=["大语言模型", "提示工程", "向量数据库"])
doc = """
大语言模型(LLM)是当前人工智能领域最重要的突破之一。
通过提示工程技术,我们可以引导模型生成更准确的回答。
向量数据库则是 RAG 系统的核心组件,负责存储和检索文本嵌入。
"""
chunks = processor.process(doc)
for i, chunk in enumerate(chunks):
print(f"块 {i+1} 关键词: {chunk['keywords']}")
场景二:智能对话的意图识别
在对话系统中,分词是意图识别的前置步骤。通过精确分词,我们可以更准确地匹配用户意图。
import jieba
from typing import Tuple, Optional
from dataclasses import dataclass
@dataclass
class Intent:
"""意图数据类"""
name: str
confidence: float
slots: dict
class IntentRecognizer:
"""
基于分词的意图识别器
使用关键词匹配 + 分词实现简单但有效的意图识别
"""
def __init__(self):
self.intent_patterns = {
"query_product": ["查询", "查看", "搜索", "找"],
"buy_product": ["购买", "买", "下单", "订购"],
"return_product": ["退货", "退款", "退换"],
"check_order": ["订单", "物流", "快递", "配送"]
}
self.slot_extractors = {
"product": self._extract_product,
"time": self._extract_time
}
def recognize(self, text: str) -> Intent:
"""
识别用户意图
Args:
text: 用户输入文本
Returns:
识别结果
"""
tokens = jieba.lcut(text)
best_intent = None
best_score = 0
for intent_name, keywords in self.intent_patterns.items():
score = sum(1 for token in tokens if token in keywords)
if score > best_score:
best_score = score
best_intent = intent_name
slots = {}
for slot_type in ["product", "time"]:
slot_value = self.slot_extractors[slot_type](tokens)
if slot_value:
slots[slot_type] = slot_value
confidence = best_score / max(len(tokens), 1) if best_score > 0 else 0
return Intent(
name=best_intent or "unknown",
confidence=confidence,
slots=slots
)
def _extract_product(self, tokens: list) -> Optional[str]:
"""提取产品名称"""
product_indicators = ["手机", "电脑", "耳机", "平板"]
for token in tokens:
if any(indicator in token for indicator in product_indicators):
return token
return None
def _extract_time(self, tokens: list) -> Optional[str]:
"""提取时间信息"""
time_indicators = ["今天", "明天", "昨天", "上周", "下周"]
for token in tokens:
if token in time_indicators:
return token
return None
recognizer = IntentRecognizer()
test_inputs = [
"我想查询华为手机的订单",
"帮我买一部苹果手机",
"今天的物流到哪了"
]
for text in test_inputs:
intent = recognizer.recognize(text)
print(f"输入: {text}")
print(f"意图: {intent.name}, 置信度: {intent.confidence:.2f}")
print(f"槽位: {intent.slots}")
print()
场景三:构建混合检索系统
现代 RAG 系统通常采用混合检索策略:向量检索 + 关键词检索。Jieba 在关键词检索中发挥关键作用。
import jieba
from jieba import analyse
from typing import List, Tuple
import numpy as np
class HybridRetriever:
"""
混合检索器
结合关键词检索和向量检索
"""
def __init__(self, documents: List[str]):
self.documents = documents
self.doc_tokens = [jieba.lcut(doc) for doc in documents]
self._build_index()
def _build_index(self):
"""构建倒排索引"""
self.inverted_index = {}
for doc_id, tokens in enumerate(self.doc_tokens):
for token in set(tokens):
if token not in self.inverted_index:
self.inverted_index[token] = []
self.inverted_index[token].append(doc_id)
def keyword_search(self, query: str, top_k: int = 5) -> List[Tuple[int, float]]:
"""
BM25 风格的关键词检索
Args:
query: 查询文本
top_k: 返回结果数量
Returns:
(文档ID, 分数) 列表
"""
query_tokens = jieba.lcut(query)
scores = {}
for token in query_tokens:
if token in self.inverted_index:
for doc_id in self.inverted_index[token]:
scores[doc_id] = scores.get(doc_id, 0) + 1
ranked = sorted(scores.items(), key=lambda x: x[1], reverse=True)
return ranked[:top_k]
def search(self, query: str, alpha: float = 0.5) -> List[dict]:
"""
混合检索
Args:
query: 查询文本
alpha: 关键词检索权重 (1-alpha 为向量检索权重)
Returns:
检索结果列表
"""
keyword_results = self.keyword_search(query)
results = []
for doc_id, score in keyword_results:
results.append({
"doc_id": doc_id,
"text": self.documents[doc_id],
"keyword_score": score,
"final_score": score * alpha
})
return results
documents = [
"大语言模型是人工智能领域的重要突破",
"向量数据库用于存储文本嵌入向量",
"提示工程可以提升大语言模型的输出质量",
"RAG系统结合了检索和生成能力"
]
retriever = HybridRetriever(documents)
results = retriever.search("大语言模型应用")
for r in results:
print(f"文档: {r['text']}")
print(f"分数: {r['final_score']:.2f}")
print()
自定义词典:让 Jieba 懂你的领域
在垂直领域应用中,通用词典往往不够用。比如医疗领域的"糖尿病肾病"、金融领域的"量化宽松政策"、AI领域的"大语言模型"——这些词如果被错误切分,会严重影响下游任务。
动态添加领域词汇
import jieba
ai_domain_words = [
"大语言模型", "提示工程", "思维链", "少样本学习",
"检索增强生成", "向量数据库", "嵌入模型", "重排序"
]
for word in ai_domain_words:
jieba.add_word(word, tag='n')
text = "大语言模型通过提示工程和思维链技术提升了推理能力"
print("/".join(jieba.lcut(text)))
# 大语言模型/通过/提示工程/和/思维链/技术/提升/了/推理/能力
词典文件管理
对于大型项目,推荐使用词典文件管理:
# ai_domain.txt
大语言模型 100 n
提示工程 80 n
思维链 60 n
检索增强生成 90 n
向量数据库 85 n
jieba.load_userdict("ai_domain.txt")
性能优化:让分词飞起来
预加载与缓存
Jieba 的词典加载是延迟的,第一次调用时会加载词典。在生产环境中,建议在应用启动时预加载:
import jieba
class JiebaInitializer:
"""Jieba 初始化器"""
_initialized = False
@classmethod
def init(cls, user_dict: str = None):
"""初始化 Jieba"""
if cls._initialized:
return
jieba.initialize()
if user_dict:
jieba.load_userdict(user_dict)
cls._initialized = True
print("Jieba 初始化完成")
JiebaInitializer.init("ai_domain.txt")
分词结果缓存
对于重复文本,使用缓存可以显著提升性能:
from functools import lru_cache
import jieba
@lru_cache(maxsize=10000)
def cached_cut(text: str) -> tuple:
"""带缓存的分词函数"""
return tuple(jieba.lcut(text))
text = "这是一段需要重复分词的文本"
for _ in range(1000):
result = cached_cut(text)
常见问题与解决方案
分词歧义处理
中文分词的经典难题是歧义问题。“南京市长江大桥"可以切分为"南京市/长江/大桥"或"南京市长/江大桥”。
Jieba 通过词频统计来消歧,但有时需要人工干预:
import jieba
text = "南京市长江大桥"
print("默认:", "/".join(jieba.lcut(text)))
# 南京市/长江大桥
jieba.del_word("长江大桥")
jieba.add_word("南京市长")
print("调整后:", "/".join(jieba.lcut(text)))
# 南京市长/江/大桥
新词发现
对于快速发展的领域(如 AI),新词不断涌现。Jieba 的 HMM 模型可以识别部分新词,但对于专业术语,建议主动添加:
new_ai_terms = [
"多模态大模型", "世界模型", "智能体", "具身智能",
"长上下文", "推理时计算", "测试时训练"
]
for term in new_ai_terms:
jieba.add_word(term)
总结
Jieba 虽然是一个"老"工具,但它在 LLM 时代依然有其独特价值:
| 应用场景 | Jieba 的角色 | 推荐模式 |
|---|---|---|
| RAG 文档预处理 | 关键词提取、文本分块 | 精确模式 |
| 意图识别 | 槽位提取、关键词匹配 | 精确模式 |
| 混合检索 | BM25 关键词检索 | 搜索引擎模式 |
| 搜索索引构建 | 倒排索引构建 | 搜索引擎模式 |
| 快速关键词提取 | 文本分析预处理 | 全模式 |
在 LLM 应用开发中,Jieba 不是要被替代的工具,而是与 Embedding 模型、向量数据库协同工作的基础组件。理解它的工作原理和最佳实践,能帮助你构建更高效的 NLP 系统。
参考资料
- Jieba GitHub: https://github.com/fxsjy/jieba
- 中文分词算法研究: https://www.oreateai.com/blog/principles-of-chinese-word-segmentation
- RAG 系统最佳实践: https://docs.llamaindex.ai/en/stable/optimizing/building_rag_apps/
136



被折叠的 条评论
为什么被折叠?



