墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
400+累计阅读
497平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
中文分词指将一个汉字序列切分成一个个单独的词。现有的中文分词算法有五大类：基于词典的方法，基于统计的方法，基于规则的方法，基于字标注的方法，基于人工智能技术（基于理解）的方法。中文分词目前主要有四个瓶颈，分别是分词歧义、未登录词识别、分词粒度问题、错别字和谐音字规范化。中文分词有五大评价准则：分词正确率，切分速度，功能完备性，易扩充性和可维护性，可移植性。中文信息处理包括三个层次：词法分析，句法分析，语义分析，其中中文分词是词法分析的第一步，非常重要。中文分词是大部分下游应用的基础，这些下游应用小到POS词性标注、NER命名实体识别，大到自动分类、自动摘要、自动校对、语言模型、机器翻译、搜索引擎、语音合成等等。
现有的中文分词算法有五大类：基于词典的分词方法，基于统计的分词方法，基于规则的分词方法，基于字标注的分词方法，基于人工智能技术（基于理解）的分词方法。
https://blog.youkuaiyun.com/ScarlettYellow/article/details/80458043
NLP|中文分词技术及应用
摘要：中文分词是中文信息处理的重要基础，本文详细阐述了目前主要的几种中文分词算法的技术原理 、中文分词目前的瓶颈和评价准则，以及中文分词的具体应用。中文分词指将一个汉字序列切分成一个个单独的词。现有的中文分词算法有五大类：基于词典的方法，基于统计的方法，基于规则的方法，基于字标注的方法，基于人工智能技术（基于理解）的方法。中文分词目前主要有四个瓶颈，分别是分词歧义、未登录词识别、分词粒度问题、错别...
NLP ---分词详解（常见的五种分词技术二）
上一篇我们讲了N一最短路径方法、基于词的n元文法模型，本节将主要介绍由字构词方法、基于词感知机算法的汉语分词方法、基于字的生成模型和区分式模型相结合的汉语分词方法，下面我们就开始讲解由字构词的方法： 由字构词方法 由字构词方法的由来 其实这个方法我们在前面讲解HMM和CRF时就一直在不停的在使用它，下面我们就详细的讲讲他的实现： 第一篇由字构词(Character一basedTagging...
分词技术发展
【代码】分词技术发展。
NLP之分词技术理论
从事了两年多的NLP研究工作，平时忙于工作，难以静下心来写技术博客。由于疫情的原因，总算有太多的空闲时间来自由安排自己的学习生活，对落下的东西做点补偿吧。随着学习和工作的积累，打算从NLP的基础工作开始，包括分词、词性标注、命名实体识别、句法分析等，这些技术是NLP上层应用的基础，在工作中，发现很多从业人员缺少对这些工作的重视，尽管深度学习很火，如果对底层技术认识不够，很难做到对上...
基于领域适应的搜索领域分词技术
在搜索引擎、智能问答、信息检索等核心NLP任务中，分词作为基础预处理步骤，其准确性直接影响后续语义理解和检索效果。领域特定词汇识别不足：如电商领域的"预售定金"“跨店满减”、医疗领域的"靶向药物""腹腔镜手术"等专业术语未被收录未登录词（OOV）处理薄弱：新兴网络用语（如"yyds"“绝绝子”）和动态生成的商品标题（如"iPhone 14 Pro Max 暗夜紫"）无法有效切分上下文歧义消解能力差：通用模型难以处理领域特有的语义歧义，如"苹果"在科技领域指电子产品，在农业领域指水果。
GSview5.0安装步骤及问题
GSview5.0安装步骤及问题安装步骤遇到的问题 尝试过很多对图片去白边的方法，感觉最好用最有效的还是用GSview比较好操作。本文针对gsview安装及安装过程中踩过的坑记录下来。 安装步骤 在官网下载gsv50w64.exe(或32位的)，直接双击安装即可。 安装Ghostscript；注意：GSview5.0不支持最新版的Ghostscript9.54，这里用到是9.27的版本可以在Github中找到，下载gs927w64.exe，一定要安装在GSview的安装目录Ghostgum下 Gho
后端需要掌握的技术_如何掌握分词技术，你需要学会这些
导语本周对自然语言处理的分词技术进行了学习。本文针对分词技术的进行了全视角的概览，目标是掌握什么是分词技术、为什么需要分词技术和如何使用分词技术。后续将分不同篇幅对其中内容进行深挖和讲解。文章结构如下(全文阅读时间大约10分钟):文章大纲1.简介首先，简单介绍一下自然语言处理技术(简称NLP)，是人工智能领域中一个重要的方向，主要研究如何让人类和计算机之间，能够使用人类能够理解的语言进行有效沟通，...
保姆级教程：在STM32CubeIDE上快速部署micro_ros到STM32F407（附常见问题解决）
本文提供了一份详细的保姆级教程，指导开发者如何在STM32CubeIDE上快速部署micro_ros到STM32F407微控制器。内容涵盖从Windows与Ubuntu双环境搭建、micro-ROS静态库编译、STM32CubeIDE工程深度集成，到串口通信联调与常见问题解决的完整流程，旨在帮助读者构建稳定可靠的ROS2与嵌入式设备通信系统。
中文分词技术
介绍NLP中常见的中文分词技术。
避坑指南：在Ubuntu 20.04上从零部署IS-Fusion环境（含CUDA 11.1和PyTorch 1.10.1配置）
本文提供了在Ubuntu 20.04系统上从零部署IS-Fusion 3D目标检测环境的详细避坑指南。内容涵盖CUDA 11.1、PyTorch 1.10.1、spconv等核心组件的精确版本安装与兼容性配置，并指导如何准备nuScenes数据集及启动模型训练，旨在帮助研究者和开发者高效搭建稳定的多模态融合算法开发环境。
EMC辐射发射测试：垂直与水平极化测试原理与实战指南
电磁兼容（EMC）测试是确保电子设备在复杂电磁环境中稳定运行的关键环节，其核心在于评估设备产生的电磁干扰（EMI）强度。辐射发射测试作为EMC测试的重要组成部分，通过测量设备向空间辐射的电磁噪声，判断其是否符合国际标准限值。测试原理基于电磁波的极化特性，即电场矢量的振动方向，主要分为垂直极化和水平极化。理解极化特性对于精准定位辐射源、高效进行EMC整改具有重要技术价值。在工程实践中，垂直极化噪声通常源于线缆辐射等垂直结构，而水平极化噪声多来自PCB走线等水平结构。通过分别测量两种极化方向的辐射最大值，可以全
ES分词技术
,ES的分词技术通过字符过滤、分词和词项过滤等步骤，结合内置和自定义分词器，支持多种语言和复杂需求。中文分词则依赖插件如IK Analyzer和Jieba Analyzer。合理配置分词器能显著提升搜索效果。
VSCODE 安装LATEX环境，参数配置，常见问题解决
1 准备Texlive安装包 可以从以下网址下载 texlive 的镜像文件： 华为镜像 阿里镜像 官网 网址中大概文件构成 下载完后我们需要的文件构成（我是2020年下载过了，这次就不重新下载了） 将这个镜像文件进行解压 2 安装Texlive 右键install-tl-windows.bat，单击以管理员身份运行，进入安装界面. 点击左下角的“Advanced”进入高级安装来取消你不需要安装的宏包。 点击“Customize”来取消勾选不需要的宏包。 单是把非中英的语言包取消勾选可以省掉 1G
什么是分词技术
分词（Tokenization）是自然语言处理（NLP）中的一个重要任务，主要用于将文本字符串拆分为有意义的单词、短语或符号。分词是许多 NLP 应用的基础，例如文本分析、信息检索、机器翻译等。基于规则的分词：使用预定义的规则（如空格、标点符号等）来拆分文本。基于字典的分词：使用词典来识别词汇，适用于语言中有很多复合词的情况。基于统计的分词：使用统计模型（如 N-gram 模型）来确定单词边界。基于深度学习的分词：使用深度学习模型（如 RNN、LSTM、Transformer）来进行分词。
图像增强算法：基于Retinex的图像增强算法
该算法对图像的亮度和颜色进行分离处理，然后通过调整它们的比例来提高图像的质量。滤波后的图像将保留颜色信息，并减少图像中的噪声。接下来，Retinex算法使用一个高通滤波器对原始图像进行滤波处理，以增强图像中的亮度信息。通过使用Retinex增强算法，我们可以有效地提高图像的质量，增强图像中的细节和颜色信息。最后，Retinex算法通过将颜色恢复和亮度调整后的图像进行比例调整，以获得最终的增强图像。Retinex算法是一种常用的图像增强算法，它通过对图像的亮度和颜色进行调整，以提高图像的视觉质量。
cuMotion 入门教程（一）面向机器人学的GPU加速运动生成技术
NVIDIA cuMotion是一款高性能机器人运动生成库，专注于机械操作任务，利用GPU加速技术提升性能。开发者预览版支持运动学/逆运动学、碰撞感知路径规划、轨迹优化等功能，兼容任意自由度机器人。该库提供C++和Python接口，支持从URDF/XRDF文件加载机器人模型，包含世界建模、碰撞检测等工具。教程详细介绍了安装配置、机器人描述加载、运动学计算、世界建模、逆运动学求解以及轨迹优化等核心功能。cuMotion整合了Lula和cuRobo库的技术优势，将成为Isaac ROS的核心组件，适用于工业机器
NLP 分词技术浅析
自然语言处理（NLP）中的分词技术是将连续的文本序列按照一定的规则切分成有意义的词语的过程。例如，将句子 “我爱自然语言处理” 切分为 “我”、“爱”、“自然语言处理” 或者 “我”、“爱”、“自然”、“语言”、“处理” 等不同的词语组合。
计算机控制技术及应用
《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。
NLP——中文分词技术
文章目录一.中文分词简介二.规则分词1.正向最大匹配法2.逆向最大匹配法3.双向最大匹配法三.统计分词1.语言模型2.HMM模型3.其他统计分词算法四.混合分词 一.中文分词简介 “词”这个概念一直是汉语语言学界纠缠不清而又绕不开的问题。“词是什么”（词的抽象定义）和“什么是词”（词的具体界定），这两个基本问题迄今为止也未能有一个权威、明确的表述，更无法拿出令大众认同的词表来。主要难点在于汉语结构与印欧体系语种差异甚大，对词的构成边界方面很难进行界定。比如，在英语中，单词本身就是“词”的表达，一篇英文文章就
温度PID控制PLC程序
温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值
IEM模型，地表粗糙度模拟
利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟
使用lucce分词怎么_如何掌握分词技术，你需要学会这些
1.导语： 本周对自然语言处理的分词技术进行了学习。本文针对分词技术的进行了全视角的概览，目标是掌握什么是分词技术、为什么需要分词技术和如何使用分词技术。后续将分不同篇幅对其中内容进行深挖和讲解。文章结构如下（全文阅读时间大约10分钟）:2.简介： 首先，简单介绍一下自然语言处理技术（简称NLP），是人工智能领域中一个重要的方向，主要研究如何让人类和计算机之间，能够使用人类...
老版QQ原生表情gif动态
这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。
jieba分词错误_如何掌握分词技术，你需要学会这些
1.导语： 本周对自然语言处理的分词技术进行了学习。本文针对分词技术的进行了全视角的概览，目标是掌握什么是分词技术、为什么需要分词技术和如何使用分词技术。后续将分不同篇幅对其中内容进行深挖和讲解。文章结构如下（全文阅读时间大约10分钟）:2.简介： 首先，简单介绍一下自然语言处理技术（简称NLP），是人工智能领域中一个重要的方向，主要研究如何让人类和计算机之间，能够使用人类...
Lucene几个分词技术的比较
一、分词器简单介绍 Lucene的分词技术很多，我下面介绍集中常用的分词技术。 1） 标准分词技术（StandardAnalyzer）：标准分词技术对英文来说是不错的，把单词分成一个一个的词根，但是对于中文来说，只是简单的把中文分成一个一个的汉字。 2）IK中文分词器（IKAnalyzer）：结合词典分词和文法分析算法的中文分词技术，能够对词典进行扩展，是一个很好
中文分词技术总结
中文分词技术总结 一、什么是中文分词 众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如，英文句子“I am a student”，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道“student”是一个单词，但是不能很容易明白「学」、「生」两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，
Day3-中文分词技术(常用分词技术介绍)
1：分词技术 1.1：规则分词 基于规则的分词是一种机械分词的方法，主要是通过维护词典，在切分语句时，将语句的每个字符串与词表中的词进行逐一匹配，找到则切分，否则不切分。 1.1.1 正向最大匹配法 正向最大匹配法（Maximum Match Method，MM法）的基本思想：假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前子串中的前i个字作为匹配字段，查找字典。如果字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
2万+
扫一扫
