2017-09-29-word-split.md

最新推荐文章于 2025-08-23 16:02:42 发布
原创 最新推荐文章于 2025-08-23 16:02:42 发布 · 415 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法

本文介绍了两种主要的中文分词技术：基于词典的字符串匹配方法（如ikanalyzer和paoding），该方法实现简单但对歧义和未登录词处理不佳；基于统计及机器学习的方法（如HMM和CRF模型），这种方法虽需要大量人工标注数据，但能较好地解决歧义和未登录词问题。此外还提到了几个知名的分词工具库。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

算法

基于词典字符串匹配

例子： ikanalyzer,paoding

  • 优点：速度块，都是O(n)时间复杂度，实现简单
  • 缺点，就是对歧义和未登录词处理不好

基于统计以及机器学习

这类分词基于人工标注的词性和统计特征，对中文进行建模，即根据观测到的数据（标注好的语料）对模型参数进行估计，即训练。 在分词阶段再通过模型计算各种分词出现的概率，将概率最大的分词结果作为最终结果。常见的序列标注模型有HMM和CRF。
例子：

  • 优点：能很好处理歧义和未登录词问题，效果比前一类效果好
  • 缺点：需要大量的人工标注数据，以及较慢的分词速度

库

  • 结巴分词
    基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)；采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合；对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法。

  • IKAnalyzer https://github.com/wks/ik-analyzer

  • HanLP

性能比较

65、常见迭代哈希函数：MD5、SHA-1与SHA-2详解
c6d7e8f9g的博客
07-17 25
本文详细解析了常见的迭代哈希函数MD5、SHA-1和SHA-2的结构、设计原理及安全性。文章涵盖了这些哈希函数的历史发展、压缩函数的工作机制、已知的攻击方法以及实际应用场景。同时，对比了它们在安全性与输出长度方面的差异，并讨论了量子计算对哈希函数的潜在威胁及未来发展趋势。通过本文，读者可以全面了解主流哈希函数的工作原理和适用场景。
python字符串切片split_python字符串的定义、切片、格式化、函数
weixin_39589241的博客
12-03 562
字符串单引号、双引号都可以定义字符串，三引号允许一个字符串跨多行name1='Honey' #单引号name2="Tom" #双引号html=''' #三引号你好，2018！'''print(html,name1,name2)切片可以使用中括号和下标来获取单个字符或截取字符串，格式为[]、[ : ]、[ : : ]str="569809857@qq.com";print(str...
7、python小知识——split方法
weixin_56504083的博客
04-05 756
split()是通过指定分隔符对字符串进行切片，如果参数num有指定值，则分隔num+1个子字符串。
split命令切割文件
sumengnan的博客
11-24 3877
一、文件切割 命令格式： split [-b ][-C ][-][-l ][要切割的文件][输出文件名前缀][-a ] 参数： -b 50m 按大小切分（50MB），默认是字节，还可指定k、m、g、T -l 100或 -100 按行数切分文件（100行），默认是 1000 行 输出的文件名前缀 直接加在命令后面 -a <后缀长度> 默认后缀长度是2，是按aa、ab、ac等格式命名 -d 后缀名称使用00、01、02，而不是aa、ab、ac等格式命名 二、文件合并 linu..
python里split函数进行文本词语分割
weixin_47775328的博客
09-06 2831
# 汉语分词 text='我是一名五年级的小学生，我喜欢写程序。' print(text.split()) CHwords=[] for word in text.split(): CHwords.extend(word) print(CHwords) # 英语分词 text='I am a chinese girl!!' EGwords=[] for word in text.split(): EGwords.append(word) print(EGwords) # 英语简写分词 t...
split 分割 字符串（分隔符如：* ^ ： | , .） 及注意点
zz_xyz的博客
03-13 2025
split 分割 字符串（分隔符如：* ^ ： | , .） 及注意点 采用 String[] onkeys = onkey.split("\\^");
jQuery-Word-Export 使用记录及完整修正文件下载 jquery.wordexport.js
业余编程
11-22 995
从代码看 jquery.wordexport.js ，还可以做很多优化和自定义，现在这个只能勉强算是验证，还不能投入实用
LLM - Qwen-72B LoRA 训练与推理实战
热门推荐
BITDDD小栈
02-05 1万+
LLM Qwen-72B 简介与 LoRA 微调、推理。
java根据模板导出word poi-tl使用Word模板和数据创建Word文档
weixin_45003796的博客
05-09 8036
java根据模板导出word poi-tl（poi template language）是Word模板引擎，使用Word模板和数据创建很棒的Word文档。poi-tl官方文档 创建word模板 模板是Docx格式的Word文档,所有的标签都是以{{开头，以}}结尾，标签可以出现在任何位置，包括页眉，页脚，表格内部，文本框等，表格布局可以设计出很多优秀专业的文档，推荐使用表格布局。 poi-tl模板遵循“所见即所得”的设计，模板和标签的样式会被完全保留。 下面是一个简单的word模板，包括了文本、
华为OD机试C卷- 快速人名查找（Java & JS & Python）.md-私信看全套OD代码及解析
06-09
word_chars[c] = word_chars.get(c, 0) + 1 if word_chars[c] == required_chars[c]: del required_chars[c] if not required_chars: return True else: break return False names = input().strip() query...
华为OD机试C卷- 中文分词模拟器（Java & JS & Python & C）.md-私信看全套OD代码及解析
06-09
Set<String> dictionary = new TreeSet(Arrays.asList(dictionaryStr.split(","))); List<String> segmentedWords = segment(sentence, dictionary); System.out.println(String.join(",", segmentedWords)); ...
word-count：简单的Javascript Word计数器
03-03
"word-count：简单的JavaScript Word计数器"是一个项目，它实现了在网页中计算文本中单词数量的基本功能。这个工具主要用于统计用户输入或显示在页面上的文本中的单词数目，类似于社交媒体平台如Twitter对字符数的...
线性回归笔记
2402_88703635的博客
08-22 830
线性回归是一种基于最小二乘法的预测建模技术，通过构建自变量与因变量的线性关系进行预测。文章介绍了线性回归的核心思想、一般形式、评估指标（SSE、MSE、R²）和参数估计方法，重点阐述了多元线性回归与简单线性回归的区别与联系。线性回归具有解释性强、计算高效的优点，广泛应用于房地产定价、医学研究和市场营销等领域。最后说明了sklearn库中线性回归算法的实现方法及其参数作用。
机器学习--数据清洗—（续篇）
2501_91237346的博客
08-20 1142
本文摘要： 该代码实现了矿物数据分类的完整机器学习流程。首先对原始数据进行预处理，包括删除异常类别、缺失值检测、标签编码和Z标准化。然后采用随机森林算法进行缺失值填充，通过训练集数据预测并填充测试集缺失值。接着使用SMOTE算法解决样本不均衡问题，并保存处理后的数据集。最后实现了6种分类算法（逻辑回归、随机森林、SVM、AdaBoost、朴素贝叶斯和XGBoost）进行矿物类型预测，通过网格搜索优化参数，并评估各模型的召回率和准确率等指标。所有结果保存为JSON格式文件，便于后续分析和比较不同填充方法与分类
【知识杂记】方差、标准差、均方误差、均方根误差与平均绝对误差，概念、计算公式、物理意义
qq_45976653的博客
08-20 664
摘要 方差和标准差衡量数据围绕平均值的离散程度，其中标准差还原了原始单位。均方误差（MSE）和均方根误差（RMSE）评估预测值与真实值的偏差，RMSE解决了MSE单位不一致的问题。平均绝对误差（MAE）使用绝对值计算误差，对异常值更稳健。MSE和RMSE对大误差敏感，而MAE虽鲁棒但不可微。这些指标在统计分析和机器学习中各有优劣，需根据具体场景选择使用。
机器学习——附录与补充
qq_66878808的博客
08-20 617
简单来说，min-max 是一种“你最小化我的最大化”的博弈策略问题。min⁡x∈Xmax⁡y∈Yfxyx∈Xmin​y∈Ymax​fxy意思是：“我想选择一个xxx，让无论yyy怎么挑使得fxyf(x, y)fxy最大，它的值也尽量小。这个问题也叫鞍点问题对抗优化问题机器学习（对抗样本、GAN）博弈论（零和博弈）强化学习（最大最小价值）网络安全（最坏情况分析）
【机器学习&深度学习】自然语言与多模态大模型
最新发布
qq_62223405的博客
08-23 602
▲自然语言大模型：专注于理解和生成文本，擅长处理与语言相关的任务； ▲多模态大模型：能同时理解和生成文字、语音、图像、视频等多种数据形态，实现更接近人类感知的智能；
数据预处理通关指南：从混乱到有序，为机器学习铺路
ts18648100255的博客
08-20 546
先理解数据：缺失值是随机还是有规律？特征的物理含义是什么？结合业务场景：填充策略、标准化方法需匹配业务目标（如预测房价和预测疾病的预处理重点不同）。工具选对事半功倍pandas适合数据清洗，的模块适合标准化建模流程。
自动驾驶汽车机器学习安全实用解决方案
NewCarRen的博客
08-20 1155
摘要：本文探讨了自动驾驶汽车中机器学习算法的安全挑战及其应对策略。文章首先指出当前汽车安全标准（如ISO 26262和ISO/PAS 21448）在应对机器学习特有的可解释性、验证和性能局限等问题上存在不足。通过系统分析机器学习与功能安全标准的五大差距（设计规范、透明度、验证、鲁棒性和监控），作者提出两类实用安全技术：1）基于不确定性估计、错误检测和分布外检测的运行时监控功能；2）通过域适应、多任务学习和数据增强提升模型鲁棒性。研究还讨论了对抗性攻击风险和用户体验设计的重要性，强调需要跨学科合作来确保自动驾
spark-shell运行scala
05-30
val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey(_ + _) wordCount.collect().foreach(println) ``` 上述代码从 HDFS 中读取文件，对每个单词进行计数，并打印结果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值