Jieba 中文分词:从基础到 LLM 应用的实践指南

机器学习LLM(1)---分词的思想,实现,序列化及对齐 首先需要了解的是分词的思想,实现,序列化及对齐。为了机器学习可以学会人类语言,首先要做的事情是对人类语言进行分词与词语数字化编码。我们很容易想到索引来实现对一个句子中对所有词语进行编码,以实现该句子在该特定语言模型下的数字编码。 分词,对于英文,由于其语言特性,天然的被空格分开,所以Token 比较容易实现,Split 即为 空格。但对于中文,由于语言中没有空格,需要进行分词。庆幸的是,我们总是站在前人的肩上,对于中文的分词,已经有很多开源代码或组件可以使用,之后介绍下分词模型的序列化及对。 阅读详情

玄同 765

大语言模型 (LLM) 开发工程师 | 中国传媒大学 · 数字媒体技术(智能交互与游戏设计)

优快云 · 个人主页 | GitHub · Follow


关于作者

  • 深耕领域:大语言模型开发 / RAG 知识库 / AI Agent 落地 / 模型微调
  • 技术栈:Python | RAG (LangChain / Dify + Milvus) | FastAPI + Docker
  • 工程能力:专注模型工程化部署、知识库构建与优化,擅长全流程解决方案

「让 AI 交互更智能,让技术落地更高效」
欢迎技术探讨与项目合作,解锁大模型与智能交互的无限可能!


Jieba 中文分词:从基础到 LLM 应用的实践指南

为什么中文分词如此重要?

想象一下,你正在构建一个智能客服系统。用户输入"我想买一部华为手机",系统需要理解用户意图。对于英文,单词之间有天然的空格分隔,但中文没有这个便利。"华为手机"是一个词还是两个词?这个问题的答案直接影响后续的意图识别和槽位填充。

这就是中文分词的核心价值——它是中文自然语言处理的第一道门槛,也是通往大模型应用的基石。

用户输入

中文分词

词向量/Embedding

LLM理解

智能响应


Jieba 的设计哲学

Jieba(结巴分词)诞生于 2012 年,名字来源于"结巴"这个中文词,寓意"虽然说话结巴,但能准确表达意思"。这个设计哲学贯穿至今:简单、实用、可靠。

核心算法:词典 + 统计的混合策略

Jieba 并非单一算法,而是巧妙融合了三种技术:

结果输出

分词引擎

输入处理

是

否

原始文本

前缀词典扫描

DAG构建

动态规划求最优路径

未登录词?

HMM + Viterbi

输出结果

分词结果

前缀词典 让 Jieba 能够快速判断一个字是否能作为词的开头。当处理"研究生命的起源"时,Jieba 会构建一个有向无环图(DAG),记录每个位置可能形成的词语:

位置 0 ("研"): 可以组成 "研究" (到位置2)
位置 2 ("生"): 可以组成 "生命" (到位置4)
位置 5 ("起"): 可以组成 "起源" (到位置7)

动态规划 则在所有可能的切分路径中,找到概率最大的一条。这就像在迷宫中找最短路径——每条路径都有权重(词频),我们需要找到总权重最大的那条。

HMM 模型 是 Jieba 的秘密武器。当遇到词典中没有的词时,比如"杭研"(杭州研究院的简称),Jieba 会根据字的成词能力进行预测。这就是为什么即使你的词典里没有"杭研",Jieba 也能正确识别它。


三种分词模式:选择合适的工具

Jieba 提供了三种分词模式,每种都有其适用场景。理解它们的差异,是在实际项目中做出正确选择的关键。

精确模式:追求准确的艺术

精确模式是 Jieba 的默认模式,它的目标是"切分得最准确"。

import jieba

text = "深度学习改变了自然语言处理领域"
result = jieba.lcut(text)
print(result)
# ['深度', '学习', '改变', '了', '自然语言', '处理', '领域']

在 LLM 应用中,精确模式特别适合:

  • 意图识别:将用户输入精确切分后,匹配预定义的意图模板
  • 槽位填充:提取关键实体,如时间、地点、人名
  • 知识库检索:将查询精确分词后,在向量数据库中检索

全模式:速度优先的策略

全模式会扫描出所有可能的词语组合,速度极快但会产生冗余。

text = "深度学习改变了自然语言处理领域"
result = jieba.lcut(text, cut_all=True)
print(result)
# ['深度', '学习', '改变', '了', '自然', '自然语言', '语言', '处理', '领域']

注意到区别了吗?“自然语言"被切分成了"自然”、“自然语言”、"语言"三个词。这种"过度切分"在某些场景反而是优势:

  • 搜索引擎索引:用户可能搜索"自然语言",也可能搜索"语言处理",全模式确保都能匹配
  • 关键词扩展:在 RAG 系统中,全模式可以帮助扩展检索范围

搜索引擎模式:精确与召回的平衡

搜索引擎模式是精确模式的增强版,它在精确切分的基础上,对长词进行二次切分。

text = "小明毕业于中国科学院计算所"

# 精确模式
print("精确:", jieba.lcut(text))
# ['小明', '毕业', '于', '中国科学院', '计算所']

# 搜索引擎模式  
print("搜索:", jieba.lcut_for_search(text))
# ['小明', '毕业', '于', '中国', '科学', '学院', '科学院', '中国科学院', '计算', '计算所']

这种模式的设计初衷是为搜索引擎构建倒排索引——当用户搜索"科学院"时,也能找到包含"中国科学院"的文档。

原始文本

精确模式分词

识别长词

长词二次切分

合并输出

模式选择决策树

准确性

速度/覆盖率

是

否

需要分词?

主要目标?

精确模式

是否需要精确结果?

搜索引擎模式

全模式

意图识别/槽位填充

RAG检索/搜索索引

快速关键词提取


在 LLM 应用中的实践

场景一:RAG 系统的文档预处理

在构建 RAG(检索增强生成)系统时,文档预处理的质量直接影响检索效果。Jieba 在这个流程中扮演着重要角色。

import jieba
from typing import List

class DocumentProcessor:
    """
    RAG 系统文档预处理器
    
    负责将原始文档转换为可检索的文本块
    """
    
    def __init__(self, custom_words: List[str] = None):
        if custom_words:
            for word in custom_words:
                jieba.add_word(word)
    
    def process(self, text: str, chunk_size: int = 500) -> List[dict]:
        """
        处理文档,生成带有关键词的文本块
        
        Args:
            text: 原始文档文本
            chunk_size: 文本块大小
            
        Returns:
            文本块列表,每个块包含文本和关键词
        """
        from jieba import analyse
        
        chunks = []
        for i in range(0, len(text), chunk_size):
            chunk_text = text[i:i + chunk_size]
            
            keywords = analyse.extract_tags(
                chunk_text, 
                topK=10,
                withWeight=True
            )
            
            chunks.append({
                "text": chunk_text,
                "keywords": [kw[0] for kw in keywords],
                "keyword_weights": dict(keywords),
                "tokens": jieba.lcut(chunk_text)
            })
        
        return chunks


processor = DocumentProcessor(custom_words=["大语言模型", "提示工程", "向量数据库"])

doc = """
大语言模型(LLM)是当前人工智能领域最重要的突破之一。
通过提示工程技术,我们可以引导模型生成更准确的回答。
向量数据库则是 RAG 系统的核心组件,负责存储和检索文本嵌入。
"""

chunks = processor.process(doc)
for i, chunk in enumerate(chunks):
    print(f"块 {i+1} 关键词: {chunk['keywords']}")

场景二:智能对话的意图识别

在对话系统中,分词是意图识别的前置步骤。通过精确分词,我们可以更准确地匹配用户意图。

import jieba
from typing import Tuple, Optional
from dataclasses import dataclass

@dataclass
class Intent:
    """意图数据类"""
    name: str
    confidence: float
    slots: dict

class IntentRecognizer:
    """
    基于分词的意图识别器
    
    使用关键词匹配 + 分词实现简单但有效的意图识别
    """
    
    def __init__(self):
        self.intent_patterns = {
            "query_product": ["查询", "查看", "搜索", "找"],
            "buy_product": ["购买", "买", "下单", "订购"],
            "return_product": ["退货", "退款", "退换"],
            "check_order": ["订单", "物流", "快递", "配送"]
        }
        
        self.slot_extractors = {
            "product": self._extract_product,
            "time": self._extract_time
        }
    
    def recognize(self, text: str) -> Intent:
        """
        识别用户意图
        
        Args:
            text: 用户输入文本
            
        Returns:
            识别结果
        """
        tokens = jieba.lcut(text)
        
        best_intent = None
        best_score = 0
        
        for intent_name, keywords in self.intent_patterns.items():
            score = sum(1 for token in tokens if token in keywords)
            if score > best_score:
                best_score = score
                best_intent = intent_name
        
        slots = {}
        for slot_type in ["product", "time"]:
            slot_value = self.slot_extractors[slot_type](tokens)
            if slot_value:
                slots[slot_type] = slot_value
        
        confidence = best_score / max(len(tokens), 1) if best_score > 0 else 0
        
        return Intent(
            name=best_intent or "unknown",
            confidence=confidence,
            slots=slots
        )
    
    def _extract_product(self, tokens: list) -> Optional[str]:
        """提取产品名称"""
        product_indicators = ["手机", "电脑", "耳机", "平板"]
        for token in tokens:
            if any(indicator in token for indicator in product_indicators):
                return token
        return None
    
    def _extract_time(self, tokens: list) -> Optional[str]:
        """提取时间信息"""
        time_indicators = ["今天", "明天", "昨天", "上周", "下周"]
        for token in tokens:
            if token in time_indicators:
                return token
        return None


recognizer = IntentRecognizer()

test_inputs = [
    "我想查询华为手机的订单",
    "帮我买一部苹果手机",
    "今天的物流到哪了"
]

for text in test_inputs:
    intent = recognizer.recognize(text)
    print(f"输入: {text}")
    print(f"意图: {intent.name}, 置信度: {intent.confidence:.2f}")
    print(f"槽位: {intent.slots}")
    print()

场景三:构建混合检索系统

现代 RAG 系统通常采用混合检索策略:向量检索 + 关键词检索。Jieba 在关键词检索中发挥关键作用。

Generation

Retrieval Engine

Query Processing

用户查询

Jieba分词

关键词提取

Embedding生成

BM25关键词检索

向量相似度检索

结果融合

重排序

LLM生成

import jieba
from jieba import analyse
from typing import List, Tuple
import numpy as np

class HybridRetriever:
    """
    混合检索器
    
    结合关键词检索和向量检索
    """
    
    def __init__(self, documents: List[str]):
        self.documents = documents
        self.doc_tokens = [jieba.lcut(doc) for doc in documents]
        self._build_index()
    
    def _build_index(self):
        """构建倒排索引"""
        self.inverted_index = {}
        for doc_id, tokens in enumerate(self.doc_tokens):
            for token in set(tokens):
                if token not in self.inverted_index:
                    self.inverted_index[token] = []
                self.inverted_index[token].append(doc_id)
    
    def keyword_search(self, query: str, top_k: int = 5) -> List[Tuple[int, float]]:
        """
        BM25 风格的关键词检索
        
        Args:
            query: 查询文本
            top_k: 返回结果数量
            
        Returns:
            (文档ID, 分数) 列表
        """
        query_tokens = jieba.lcut(query)
        scores = {}
        
        for token in query_tokens:
            if token in self.inverted_index:
                for doc_id in self.inverted_index[token]:
                    scores[doc_id] = scores.get(doc_id, 0) + 1
        
        ranked = sorted(scores.items(), key=lambda x: x[1], reverse=True)
        return ranked[:top_k]
    
    def search(self, query: str, alpha: float = 0.5) -> List[dict]:
        """
        混合检索
        
        Args:
            query: 查询文本
            alpha: 关键词检索权重 (1-alpha 为向量检索权重)
            
        Returns:
            检索结果列表
        """
        keyword_results = self.keyword_search(query)
        
        results = []
        for doc_id, score in keyword_results:
            results.append({
                "doc_id": doc_id,
                "text": self.documents[doc_id],
                "keyword_score": score,
                "final_score": score * alpha
            })
        
        return results


documents = [
    "大语言模型是人工智能领域的重要突破",
    "向量数据库用于存储文本嵌入向量",
    "提示工程可以提升大语言模型的输出质量",
    "RAG系统结合了检索和生成能力"
]

retriever = HybridRetriever(documents)
results = retriever.search("大语言模型应用")
for r in results:
    print(f"文档: {r['text']}")
    print(f"分数: {r['final_score']:.2f}")
    print()

自定义词典:让 Jieba 懂你的领域

在垂直领域应用中,通用词典往往不够用。比如医疗领域的"糖尿病肾病"、金融领域的"量化宽松政策"、AI领域的"大语言模型"——这些词如果被错误切分,会严重影响下游任务。

动态添加领域词汇

import jieba

ai_domain_words = [
    "大语言模型", "提示工程", "思维链", "少样本学习",
    "检索增强生成", "向量数据库", "嵌入模型", "重排序"
]

for word in ai_domain_words:
    jieba.add_word(word, tag='n')

text = "大语言模型通过提示工程和思维链技术提升了推理能力"
print("/".join(jieba.lcut(text)))
# 大语言模型/通过/提示工程/和/思维链/技术/提升/了/推理/能力

词典文件管理

对于大型项目,推荐使用词典文件管理:

# ai_domain.txt
大语言模型 100 n
提示工程 80 n
思维链 60 n
检索增强生成 90 n
向量数据库 85 n
jieba.load_userdict("ai_domain.txt")

性能优化:让分词飞起来

预加载与缓存

Jieba 的词典加载是延迟的,第一次调用时会加载词典。在生产环境中,建议在应用启动时预加载:

import jieba

class JiebaInitializer:
    """Jieba 初始化器"""
    
    _initialized = False
    
    @classmethod
    def init(cls, user_dict: str = None):
        """初始化 Jieba"""
        if cls._initialized:
            return
        
        jieba.initialize()
        if user_dict:
            jieba.load_userdict(user_dict)
        
        cls._initialized = True
        print("Jieba 初始化完成")


JiebaInitializer.init("ai_domain.txt")

分词结果缓存

对于重复文本,使用缓存可以显著提升性能:

from functools import lru_cache
import jieba

@lru_cache(maxsize=10000)
def cached_cut(text: str) -> tuple:
    """带缓存的分词函数"""
    return tuple(jieba.lcut(text))


text = "这是一段需要重复分词的文本"
for _ in range(1000):
    result = cached_cut(text)

常见问题与解决方案

分词歧义处理

中文分词的经典难题是歧义问题。“南京市长江大桥"可以切分为"南京市/长江/大桥"或"南京市长/江大桥”。

Jieba 通过词频统计来消歧,但有时需要人工干预:

import jieba

text = "南京市长江大桥"
print("默认:", "/".join(jieba.lcut(text)))
# 南京市/长江大桥

jieba.del_word("长江大桥")
jieba.add_word("南京市长")
print("调整后:", "/".join(jieba.lcut(text)))
# 南京市长/江/大桥

新词发现

对于快速发展的领域(如 AI),新词不断涌现。Jieba 的 HMM 模型可以识别部分新词,但对于专业术语,建议主动添加:

new_ai_terms = [
    "多模态大模型", "世界模型", "智能体", "具身智能",
    "长上下文", "推理时计算", "测试时训练"
]

for term in new_ai_terms:
    jieba.add_word(term)

总结

Jieba 虽然是一个"老"工具,但它在 LLM 时代依然有其独特价值:

应用场景Jieba 的角色推荐模式
RAG 文档预处理关键词提取、文本分块精确模式
意图识别槽位提取、关键词匹配精确模式
混合检索BM25 关键词检索搜索引擎模式
搜索索引构建倒排索引构建搜索引擎模式
快速关键词提取文本分析预处理全模式

在 LLM 应用开发中,Jieba 不是要被替代的工具,而是与 Embedding 模型、向量数据库协同工作的基础组件。理解它的工作原理和最佳实践,能帮助你构建更高效的 NLP 系统。


参考资料

  • Jieba GitHub: https://github.com/fxsjy/jieba
  • 中文分词算法研究: https://www.oreateai.com/blog/principles-of-chinese-word-segmentation
  • RAG 系统最佳实践: https://docs.llamaindex.ai/en/stable/optimizing/building_rag_apps/
【AI基础学习系列】七、LLM基础-Token 本文介绍了NLP中Token的概念及其应用。Token是LLM处理文本的最小单位,可以是字、词或词的一部分。中文文本中1个Token约等于1.5-2个汉字,具体取决于词汇复杂度。文章阐述了三种Token类型(词汇级、子词级、字符级)和四种分词方法(基于空格、规则、统计、子词)。最后说明了AI交互中Token的计算方式,包括输入输出文本的Token转换过程。不同语言和模型会影响Token的切分方式,这是处理自然语言的基础环节。 阅读详情

相关推荐

LLM基础知识:1.分词

分词是自然语言处理的基础,分词准确度直接决定了后面的词性标注、句法分析、词向量以及文本分析的质量。

Cachel Wood的博客 136

Langchain-Chatchat中文分词优化方案:jieba集成实践

在Langchain-Chatchat中集成jieba分词,提升中文语义切分精度。通过自定义词典、语义感知分块和查询一致性处理,显著增强知识库检索效果,尤其在企业专有术语场景下表现突出,实现从‘能用’到‘好用’的跨越。

weixin_42509513的博客 933

tanner2019安装教程

tanner2019安装教程 tanner安装包 软件由老师提供,但由于老师给的方法不知怎么回事无法使用就自己找了一些方法,本教程仅提供参考 链接:https://pan.baidu.com/s/1A2O6JuEF8YFbe8bPnD3J6w 提取码:ysif 复制这段内容后打开百度网盘手机App,操作更方便哦 安装过程 1.选择TannerTools_v2019.2-Win64.exe,进行安装。 2.选择安装产品 3.选择目标路径 4.确认安装 5.安装成功,退出。 获取许可过程 1.打开key压缩

weixin_47730560的博客 1万+

中文分词技术解析:Jieba工具与应用实践

中文分词是自然语言处理(NLP)的基础技术,通过将连续的中文字符序列切分为有意义的词语组合,为文本处理提供结构化输入。其核心原理结合词典匹配与统计模型(如HMM),解决中文无空格分隔的固有挑战。在工程实践中,分词技术能显著提升专业术语识别准确率,并优化实时处理性能,尤其适用于搜索引擎、舆情分析等场景。以Python生态广泛使用的Jieba工具为例,支持精确模式、全模式和搜索引擎模式三种策略,并通过用户词典扩展实现领域适配。随着大语言模型(LLM)的普及,分词技术与其协同可降低序列长度,保护专业术语完整性,在

weixin_33491377的博客 289

matlab中的神经网络怎么用,matlab怎么搭建神经网络

图中 yi表示神经元i的输出,函数f称为激活函数 ( Activation Function )或转移函数 ( Transfer Function ) ,net称为净激活(net activation)。图中x1~xn是从其他神经元传来的输入信号,wij表示表示从神经元j到神经元i的连接权值,θ表示一个阈值 ( threshold ),或称为偏置( bias )。对于P,x1是行向量,x2是行向量。双极S形函数与S形函数主要区别在于函数的值域,双极S形函数值域是(-1,1),而S形函数值域是(0,1)。

wenangou的博客 6365

泛微OA E9文档管理优化:临时文件清理与存储配置指南

本文深入解析了泛微OA E9系统性能下降的常见原因——临时文件堆积,并提供了完整的优化配置指南。文章详细介绍了临时文件的产生机制,并手把手指导管理员如何通过修改存储路径、调整保留时间、设置白名单等关键配置,有效清理与管理系统临时文件,从而释放存储空间,提升系统运行效率与稳定性。

tree8的博客 432

终极指南:LLM Universe多语言支持的中文分词与跨语言嵌入技术全解析

Datawhale / llm-universe 是一个面向小白开发者的大模型应用开发教程,提供了从基础到进阶的完整学习路径,帮助开发者快速掌握LLM应用开发技能。本文将深入探讨如何在该项目中实现多语言支持的中文分词与跨语言嵌入技术,为构建全球化的大模型应用奠定基础。 ## 多语言支持在LLM应用中的重要性 在全球化的今天,大语言模型(LLM)的多语言支持能力变得越来越重要。LLM可以用于多种

gitblog_01023的博客 680

新手避坑指南:用镭神C32和KVH 1750 IMU做标定,为什么直接上lidar_align会失败?

本文详细解析了使用镭神C32激光雷达和KVH 1750 IMU进行标定时常见的失败原因及解决方案。从IMU的微分传感器特性到Lidar-IMU标定的数学本质,再到可行的标定方案和实操注意事项,帮助新手避开认知陷阱,掌握正确的标定方法。

weixin_30162121的博客 328

中文分词优化建议:提升anything-llm在中文语境下的准确率

在基于RAG架构的智能知识系统中,中文分词直接影响信息检索与生成效果。由于中文无空格分隔,传统按标点切分的方式易破坏语义完整性,导致关键术语被错误拆分。通过引入Jieba等专业分词工具,结合自定义词典与中文优化的嵌入模型如BGE-zh,可显著提升anything-llm在中文场景下的表现。该优化不仅修复语义断层,更重构了系统对中文文本的认知粒度。

weixin_35294091的博客 999

第五章 PCIe介绍 5.1-5.7

为什么SSD要用PCIe接口?因为它快,比SATA快。通道,PCIe最多可以有32个通道。两个设备之间的PCIe连接,叫做一个Link。如下图,设备A和设备B是个双向连接,两个PCIe设备之间,有专门的发送和接收通道,数据可以同时往两个方向传输,PCIe Spec称这种工作模式为,可以理解为。和PCIe一样,SATA有独立的发送和接收通道。但与PCIe工作模式不一样,同一时间,SATA只有一条通道可以进行数据传输。这种工作模式称为。与SATA单通道不同,PCIe连接可以通过增加通道数扩展带宽。

fengbaobaola的博客 2970

matlab计算图像信噪比SNR

【代码】matlab计算图像信噪比SNR。

baidu_34971492的博客 1402

中文分词优化建议:提升Anything-LLM语义理解精度

在基于RAG的AI系统中,中文分词直接影响语义检索效果。通过jieba结合自定义词典与术语归一化,可有效避免专业词汇被误切,提升向量化质量与召回率。实际案例表明,优化分词策略能在不更换模型的前提下显著增强系统理解力,尤其适用于企业级知识库场景。

weixin_42602368的博客 1049

【专栏目录】

🌟 深度学习工程师的终极武器库!本专栏深度解析近3年CV领域最前沿的YoloV8改进方案,每一种方法都经过实战验证,性能显著提升!🌟。

m0_47867638的博客 1万+

Jieba中文分词技术解析与应用实践

中文分词是自然语言处理(NLP)的基础技术,通过将连续的中文字符序列切分为有意义的词语单元,为文本处理提供结构化输入。其核心原理包括词典匹配算法和统计机器学习方法,其中Trie树结构实现高效前缀匹配,隐马尔可夫模型(HMM)则提升未登录词识别能力。Jieba作为Python生态主流分词工具,在搜索引擎优化、情感分析、内容推荐等场景展现显著价值。特别是在处理金融文本、电商评论等专业领域时,通过自定义词典和TF-IDF算法,可使关键词提取准确率提升20%以上。该工具支持多进程加速和内存优化,能高效处理GB级文本

weixin_32247165的博客 227

1. BES2700ZP概述

恒玄BES2700采用RTX5操作系统,配合mindmics算法或者自研算法。

雪飞_海 4480

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

LLM时代中文分词的工程重构:从规则到概率校准

分词作为自然语言处理的基础预处理环节,在大语言模型(LLM)时代并未消亡,而是演变为上下文感知的动态子词生成问题。其核心原理正从静态词典匹配转向基于LLM隐层表征的概率边界预测,技术价值在于弥合新词识别、业务语义对齐与推理效率之间的鸿沟。典型应用场景覆盖电商搜索query理解、金融合同实体归一化及医疗术语精准解析等高敏感领域。本文聚焦‘分词’与‘LLM’两大热词交汇处,揭示如何利用现有大模型能力轻量改造分词模块,实现零标注适配与API级无缝替换。

weixin_29041195的博客 314

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【LLM_Base】2.1.Jieba原理

分词的目的:将输入文本分成一个个,保证各个词元拥有相对完整和独立的语义,以供后续任务(比如学习embedding或者作为高级模型的输入)使用。

poemsg的博客 217

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

LLM系列:4.transformer算法:3.Jieba

Jieba是一个优秀的Python中文分词组件,支持多种分词模式(精确、全模式、搜索引擎和Paddle模式)和自定义词典。其底层结合了字符串匹配和统计算法,通过构建DAG和动态规划计算最优切分路径,并利用HMM模型处理未登录词。核心类包括Tokenizer分词器和POSTokenizer词性标注器。安装简单,适合各类中文文本处理任务,尤其在搜索引擎和自然语言处理中表现突出。

Open__Ai的博客 253

【LLM】第一章:分词算法BPE、WordPiece、Unigram、分词工具jieba

在传统NLP领域,第一步就是分词,分完词后就可以对词进行文本表示,也就是把词变成特征向量,然后把特征向量喂入我们前面学的各种序列模型,训练模型,完成分类、回归、生成等任务。本章节讲分词,下一个章节讲特征向量。

因为热爱所以坚持 568

Langchain-Chatchat中文分词优化方案实测报告

在企业级知识库中,中文分词与文本分块方式直接影响大模型的理解效果。通过增强jieba词典、调整分隔符优先级、使用BGE嵌入模型,可显著减少语义割裂,将问答准确率从62%提升至89%。实际优化需协同分词与分块策略,并持续迭代领域术语库。

weixin_42437253的博客 932

LLM入门手记:从Tokenizer到本地推理的实践指南

大语言模型(LLM)是当前AI工程落地的核心技术,其本质是基于Transformer架构的概率化文本生成系统。理解tokenization分词机制、上下文窗口限制与inference参数协同效应,是避免幻觉、控制成本、提升响应质量的基础能力。本文聚焦本地可运行的最小闭环实践,以Llama-3-8B-Instruct为载体,详解tokenizer中文切分差异、KV Cache内存行为、temperature/top_p等关键参数的物理意义,并覆盖MPS加速、4-bit量化、安全加载等真实部署场景。适合希望摆脱

weixin_29056145的博客 261

【大模型LLM面试合集】大语言模型基础_分词

分词是自然语言处理的基础,分词准确度直接决定了后面的词性标注、句法分析、词向量以及文本分析的质量。

高丽大学人工智能硕士在读|专注大模型、RAG、OCR与AI工程实践 1079

NLP分词技术解析:从BPE到中文分词实战

分词(Tokenization)是自然语言处理(NLP)的基础技术,直接影响模型对文本的理解能力。其核心原理是将原始文本拆分为有语义意义的单元(如词、子词或字符),常见算法包括基于频率统计的BPE(Byte Pair Encoding)、概率驱动的WordPiece和Unigram。这些技术在LLM(大语言模型)时代尤为重要,如BERT采用WordPiece处理多语言任务,而GPT系列使用BPE平衡词表大小。中文场景下,jieba等工具通过预分词和用户词典机制解决专业术语识别问题。实际应用中,分词策略需根据

weixin_28706923的博客 251

别再只用jieba了!用Python+HanLP搞定中文分词,5分钟上手避坑指南

本文介绍了如何利用Python和HanLP工具高效处理中文分词,特别针对专业术语和新兴科技名词的分词需求。通过详细的配置指南、分词引擎对比和性能优化策略,帮助开发者快速上手并避开常见陷阱,提升文本分析的准确性和效率。

weixin_26765363的博客 223

自用LLM八股卡片笔记系列(第2讲:中文分词与词性标注)

摘要 本文系统梳理中文分词算法工程实践与面试要点,聚焦三大核心问题:算法本质、工程权衡和问题诊断。内容分为九部分:(1)分词难点与评估陷阱;(2)算法对比分析(贪心/DP/HMM);(3)工程选型决策树;(4)线上问题诊断方法;(5)评估指标设计;(6)词性标注挑战;(7)传统算法持久价值;(8)高频面试题精解;(9)变式场景应对策略。重点揭示:工程需平衡90%准确度与毫秒级延迟的帕累托最优,混合架构(词典+统计)是实用方案,新词识别依赖HMM统计韧性。提供从概念定义到数学证明(Bellman原理)、再到工

2504_94557665的博客 1066

IndexTTS-2-LLM避坑指南:语音合成常见问题全解

本文介绍了如何在星图GPU平台上自动化部署🎙️ IndexTTS-2-LLM 智能语音合成服务镜像,快速构建稳定高效的语音合成环境。该镜像支持中英文混合文本转语音,典型应用于AI课件配音、有声读物生成及智能客服语音播报等场景,显著提升内容语音化生产效率。

weixin_29317963的博客 462
上一篇: 向量数据库:AI 时代的记忆引擎
下一篇: Milvus:十亿级向量搜索的工业级方案
玄同765
玄同765 新星创作者: 人工智能技术领域 新星创作者: 人工智能技术领域
博客等级 码龄6年 1万+粉丝 262原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值