Hanlp的学习和应用

HanLp的应用 - 转自GitHub开源代码介绍 HanLP是一系列模型与算法组成的NLP工具包,目标是普及自然语言处理在生产环境中的应用。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。内部算法经过工业界和学术界考验,配套书籍《自然语言处理入门》已经出版。目前,基于深度学习的HanLP 2.x已正式发布,次世代最先进的NLP技术,支持包括简繁中英日俄法德在内的104种语言上的联合任务。 HanLP提供下列功能: 中文分词 HMM-Bigram(速度与精度最佳平衡;一百兆内存) 最短路分词、N-最短路分词 由字构词 阅读详情

Hanlp简介

官方文档

官网地址:https://www.hanlp.com/index.html
Github地址:https://github.com/hankcs/HanLP/tree/v1.7.8

简介

一款包含中英文分词、自定义分词、词性标注、关键词提取、情感分析等nlp功能的开源三方包。以快速上手,简单配置为突出特点。亲测0基础可上手。
如项目中有数据清洗,数据分析,数据感情分析类似需求时,可考虑直接使用该包进行数据处理。
以下为java spring 项目的使用方法。

快速使用

详细使用手册见官网和github文档

Maven依赖引入

如果使用的maven库已有该三方包,直接进行依赖引用。如果没有,先到github下载完整Hanlp包上传maven库。

<dependency>
    <groupId>com.hankcs</groupId>
    <artifactId>hanlp</artifactId>
    <version>portable-1.7.8</version>
</dependency>

引入后刷新maven install即可。可选版本见官方网站,这里使用portable-1.7.8

引入数据包 data

一般项目可直接下载官方数据包作为基础数据包使用。在基础数据包基础上,扩展自定义或其他领域数据包。
https://github.com/hankcs/HanLP/archive/refs/tags/v1.7.8.zip
数据包位置
如果已经引入依赖,三方包中已包含了data目录和基础的词库,但是如果需要自定义词库则必须自己增加该data目录到你的项目目录下。
放在哪里都行,但是建议放在resources目录下。
data包下,dictionary包含了基础数据包,并且后面要增加自定义数据包建议也放在这里统一管理。

hanlp.properties配置文件

hanlp.properties是是自定义词库配置需要写的配置文件,建议同放在resources目录下。
hanlp.properties
该文件用于指定各自定义内容路径。根据源码我们可以看到:

try
   {
       p.load(new InputStreamReader(Predefine.HANLP_PROPERTIES_PATH == null ?
                                        loader.getResourceAsStream("hanlp.properties") :
                                        new FileInputStream(Predefine.HANLP_PROPERTIES_PATH)
           , "UTF-8"));
   }
   catch (Exception e)
   {
       String HANLP_ROOT = System.getProperty("HANLP_ROOT");
       if (HANLP_ROOT == null) HANLP_ROOT = System.getenv("HANLP_ROOT");
       if (HANLP_ROOT != null)
       {
           HANLP_ROOT = HANLP_ROOT.trim();
           p = new Properties();
           p.setProperty("root", HANLP_ROOT);
           logger.info("使用环境变量 HANLP_ROOT=" + HANLP_ROOT);
       }
       else throw e;
   }
   String root = p.getProperty("root", "").replaceAll("\\\\", "/");
   if (root.length() > 0 && !root.endsWith("/")) root += "/";
   CoreDictionaryPath = root + p.getProperty("CoreDictionaryPath", CoreDictionaryPath);
   CoreDictionaryTransformMatrixDictionaryPath = root + p.getProperty("CoreDictionaryTransformMatrixDictionaryPath", CoreDictionaryTransformMatrixDictionaryPath);
   BiGramDictionaryPath = root + p.getProperty("BiGramDictionaryPath", BiGramDictionaryPath);
   CoreStopWordDictionaryPath = root + p.getProperty("CoreStopWordDictionaryPath", CoreStopWordDictionaryPath);
   CoreSynonymDictionaryDictionaryPath = root + p.getProperty("CoreSynonymDictionaryDictionaryPath", CoreSynonymDictionaryDictionaryPath);
   PersonDictionaryPath = root + p.getProperty("PersonDictionaryPath", PersonDictionaryPath);
   PersonDictionaryTrPath = root + p.getProperty("PersonDictionaryTrPath", PersonDictionaryTrPath);
   String[] pathArray = p.getProperty("CustomDictionaryPath", "data/dictionary/custom/CustomDictionary.txt").split(";");
   String prePath = root;
   for (int i = 0; i < pathArray.length; ++i)
    {
        if (pathArray[i].startsWith(" "))
        {
            pathArray[i] = prePath + pathArray[i].trim();
        }
        else
        {
            pathArray[i] = root + pathArray[i];
            int lastSplash = pathArray[i].lastIndexOf('/');
            if (lastSplash != -1)
            {
                prePath = pathArray[i].substring(0, lastSplash + 1);
            }
        }
    }
    CustomDictionaryPath = pathArray;
    tcDictionaryRoot = root + p.getProperty("tcDictionaryRoot", tcDictionaryRoot);
    if (!tcDictionaryRoot.endsWith("/")) tcDictionaryRoot += '/';
    PinyinDictionaryPath = root + p.getProperty("PinyinDictionaryPath", PinyinDictionaryPath);
    TranslatedPersonDictionaryPath = root + p.getProperty("TranslatedPersonDictionaryPath", TranslatedPersonDictionaryPath);
    JapanesePersonDictionaryPath = root + p.getProperty("JapanesePersonDictionaryPath", JapanesePersonDictionaryPath);
    PlaceDictionaryPath = root + p.getProperty("PlaceDictionaryPath", PlaceDictionaryPath);
    PlaceDictionaryTrPath = root + p.getProperty("PlaceDictionaryTrPath", PlaceDictionaryTrPath);
    OrganizationDictionaryPath = root + p.getProperty("OrganizationDictionaryPath", OrganizationDictionaryPath);
    OrganizationDictionaryTrPath = root + p.getProperty("OrganizationDictionaryTrPath", OrganizationDictionaryTrPath);
    CharTypePath = root + p.getProperty("CharTypePath", CharTypePath);
    CharTablePath = root + p.getProperty("CharTablePath", CharTablePath);
    PartOfSpeechTagDictionary = root + p.getProperty("PartOfSpeechTagDictionary", PartOfSpeechTagDictionary);
    WordNatureModelPath = root + p.getProperty("WordNatureModelPath", WordNatureModelPath);
    MaxEntModelPath = root + p.getProperty("MaxEntModelPath", MaxEntModelPath);
    NNParserModelPath = root + p.getProperty("NNParserModelPath", NNParserModelPath);
    PerceptronParserModelPath = root + p.getProperty("PerceptronParserModelPath", PerceptronParserModelPath);
    CRFSegmentModelPath = root + p.getProperty("CRFSegmentModelPath", CRFSegmentModelPath);
    HMMSegmentModelPath = root + p.getProperty("HMMSegmentModelPath", HMMSegmentModelPath);
    CRFCWSModelPath = root + p.getProperty("CRFCWSModelPath", CRFCWSModelPath);
    CRFPOSModelPath = root + p.getProperty("CRFPOSModelPath", CRFPOSModelPath);
    CRFNERModelPath = root + p.getProperty("CRFNERModelPath", CRFNERModelPath);
    PerceptronCWSModelPath = root + p.getProperty("PerceptronCWSModelPath", PerceptronCWSModelPath);
    PerceptronPOSModelPath = root + p.getProperty("PerceptronPOSModelPath", PerceptronPOSModelPath);
    PerceptronNERModelPath = root + p.getProperty("PerceptronNERModelPath", PerceptronNERModelPath);
    ShowTermNature = "true".equals(p.getProperty("ShowTermNature", "true"));
    Normalization = "true".equals(p.getProperty("Normalization", "false"));
    String ioAdapterClassName = p.getProperty("IOAdapter");

我们可在配置文件中自定义的内容包括

  1. CoreDictionaryPath:如果将data数据包目录放在了其他位置,需要使用该配置指定data数据包位置
  2. CoreDictionaryTransformMatrixDictionaryPath:没用过,应该是基础数据转矩阵的一个目录路径
  3. BiGramDictionaryPath:没用过,应该是关于二元语法的目录路径
  4. CoreStopWordDictionaryPath:基础核心排除此数据文件目录路径
  5. CustomDictionaryPath:自定义分词数据目录,我们最需要用到的配置。将你存放自定义分词文件的目录写在这里。
  6. IOAdapter:自定义IO适配器。在linux环境下需要用到。

其他内容目前未涉猎,大家可自行研究。

快速尝试

分词示例(官方):

    public static void main(String[] args)
    {
        String[] testCase = new String[]{
                "商品和服务",
                "当下雨天地面积水分外严重",
                "结婚的和尚未结婚的确实在干扰分词啊",
                "买水果然后来世博园最后去世博会",
                "中国的首都是北京",
                "欢迎新老师生前来就餐",
                "工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作",
                "随着页游兴起到现在的页游繁盛,依赖于存档进行逻辑判断的设计减少了,但这块也不能完全忽略掉。",
        };
        for (String sentence : testCase)
        {
            List<Term> termList = HanLP.segment(sentence);
            System.out.println(termList);
        }
    }
自然语言处理学习笔记(三)————HanLP安装与使用 第一次使用pyhanlp时,会自动下载许多hanlp的jar包(包含许多算法)和数据包(包含许多模型)到pyhanlp的系统路径中,大约六百多兆。[你好/vl, ,/w, 欢迎/v, 进入/v, nlp/nx, 的/ude1, 世界/n]wky 右括号,全角:) 〕 ] } 》 】 〗 〉 半角: ) ] { >wkz 左括号,全角:( 〔 [ { 《 【 〖 〈 半角:( [ { 阅读详情

相关推荐

HanLP 部署及NLP+ML双生树思维导图

HanLP是面向生产环境的多语种NLP工具包,基于 TensorFlow 2.0,目标是普及学术界最前沿的技术到工业界。HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。内部算法经过工业界和学术界考验,配套书籍《自然语言处理入门》。 安装部署HanLP: 登录Python虚拟环境。 D:\2020_vir_tensorflow1\Scripts>activate...

大模型与Agent智能体 2119

Hanlp基本使用

Hanlp基本使用

qq_41610957的博客 1万+

Hanlp最新版本V1.7.2(含hanlp-1.7.2.jar、模型data包、配置文件hanlp.properties)

最新的hanlp的jar包,模型data包、配置文件hanlp.properties

HanLP在IDEA中的配置及使用

HanLP在IDEA中的配置及使用 HanLP介绍 HanLP是一款面向生产环境的自然语言处理工具包。 中文分词中有众多分词工具,如jieba、hanlp、盘古分词器、庖丁解牛分词等;其中庖丁解牛分词仅仅支持java,分词是HanLP最基础的功能,HanLP实现了许多种分词算法,每个分词器都支持特定的配置。接下来我将介绍如何配置Hanlp来开启自然语言处理之旅,每个工具包都是一个非常强大的算法集合。 具有如下功能: 中文分词 词性标注 命名实体识别 依存句法分析 语义依存分析 新词发现 关键词短语提取

3732

工业自动化实战:用LabVIEW的DSC模块实现MODBUS-TCP设备控制

本文详细介绍了如何利用LabVIEW的DSC模块实现工业自动化中的MODBUS-TCP设备控制。通过环境准备、核心功能解析、状态机实现及典型工业场景实战,帮助工程师快速掌握稳定可靠的通讯技术,提升工业自动化系统的运行效率。

salt9的博客 1058

SAP(ERP)工艺路线(Routing)业务视角解析

工艺路线(Routing)也是PP模块,即生产制造模块中最重要核心主数据之一,也是ERP(SAP)顾问,必需从业务与系统深入掌握的重要主数据,它也是整个生产计划与生产流程的重要基础。因为执行步骤只是操作层面的认知,业务顾问需要从业务本质上去理解它,要真正从业务视角理解工艺路线的业务价值,而不仅仅是操作层面的认知。因此将工艺路线理解为“有以上业务本质的理解,然后进到SAP系统中,就容易理解工艺路线(Routing)的每一组成部分结构与功能了,本质就是理解制造企业如何将设计意图转化为物理现实的编码规则。

m0_45197968的博客 1504

基于HanLP和Java的汉语言处理包

*** 演示用户词典的动态增删*/// 动态增加CustomDictionary.add("攻城狮");// 强行插入CustomDictionary.insert("白富美", "nz 1024");// 删除词语(注释掉试试)// CustomDictionary.remove("攻城狮");System.out.println(CustomDictionary.add("单身狗", "nz 1024 n 1"));

毕业作品网站 5639

PicoRV32 笔记 05

PicoRV32 本地总线接口

jjinl的专栏 1577

13.深度学习(词嵌入)与自然语言处理--HanLP实现

**深度学习**(Deep Leaming, DL )属于表示学习( Representation Learning )的范畴,指的是利用具有一定“深度”的模型来自动学习事物的向量表示(vectorial rpresenation)的一种学习范式。目前,深度学习所采用的模型主要是层数在一层以上的神经网络。

mantch 3274

c++界面开发入门

c++界面开发 DialogBox MessageBox

jiaodou2的博客 6520

射频总集篇:(不断更新)

射频每一章涉及到的重点理论/设计方法 CHAPTER 1 传输线理论 输入阻抗Zin,负载阻抗ZL,驻波比ρ,反射系数 CHAPTER 2 波导 矩形波导,圆波导,同轴线 CHAPTER 3 微型带状传输线 微带线的参数设计,带状线的参数设计 CHAPTER 4 ...

jieyannn的博客 1923

HanLP句法分析实战:依存分析与成分解析详解

想要深入理解中文句子的内在结构?HanLP作为一款强大的自然语言处理工具,提供了完整的句法分析功能,让您轻松掌握依存分析和成分解析的核心技术。本文将为您详细介绍如何使用HanLP进行句法分析,帮助您快速上手这一重要的NLP任务。 ## 什么是句法分析? 句法分析是自然语言处理中的关键技术,它能够分析句子的语法结构,揭示词语之间的语法关系。在中文处理中,句法分析主要包括两种类型: - **依存

gitblog_00610的博客 762

天地图下载带审图号(审图号: GS(2024)0650号)的 “行政区划” 数据(含shp文件下载地址)

在科研投稿论文过程中,多数期刊杂志要求我们制作涉及国界的图件,必须使用自然资源部地图技术审查中心发布的标准地图底图。如地理学报、地理科学等期刊的投稿指南中写到:非标准底图本刊不予发表!(如图1.1所示)如果一定要用,凡涉国界图件(国内部分地区、全国、世界部分地区、全球)必须使用自然资源部标准地图服务系统标准地图底图(http://bzdt.ch.mnr.gov.cn/)(如图1.1所示)或国家测绘局地理信息局标准地图底图(如图1.2所示),所用底图边界要完全无修改(包括南海诸岛位置)。

JData_Engineer的博客 2307

jieba vs HanLP:搜索领域分词工具对比评测

在搜索领域,分词是一项基础且关键的技术。准确的分词能够极大地提升搜索结果的准确性和相关性。jieba和HanLP是两款备受关注的中文分词工具,它们都有各自的特点和优势。本评测的目的是对这两款工具在搜索领域的表现进行详细对比,分析它们在不同场景下的适用性,范围涵盖从基本的分词原理到实际项目应用的各个方面。本文将按照以下结构进行组织:首先介绍jieba和HanLP的核心概念与联系,包括它们的原理和架构;接着深入讲解它们的核心算法原理和具体操作步骤,并使用Python源代码进行详细阐述;

专注搜索引擎技术 1375

C# & SQL Server 实时数据同步:7步轻松搞定,代码详解

实时数据同步是指在一个数据库中的数据发生变化时,能够立即或近乎立即地将这些变化同步到另一个数据库中。这种同步可以是单向的(从源数据库同步到目标数据库),也可以是双向的(两个数据库互相同步)。通过本文的详细讲解和代码示例,相信你已经学会了如何使用C#和SQL Server实现数据库的实时数据同步。实时数据同步不仅可以提升系统的响应速度,还能确保数据的一致性和准确性。希望这篇教程对你有所帮助,期待你在C#编程中取得更大的成就!🌟✨如果你有任何问题或建议,欢迎在评论区留言交流!

java专栏 516

YOLOv8改进 | Conv篇:基于FasterBlock与C2f结构的二次创新,参数量下降70万【附保姆级代码】

通过引入FasterBlock二次创新C2f结构,我们成功地对YOLOv8模型进行了优化,显著降低了其参数量,并提升了推理速度,而精度保持不变甚至有所提升。该模型在多个实际应用场景中展现出了优异的性能,尤其是在嵌入式设备、移动端和自动驾驶等领域,具有广泛的应用潜力。未来的研究将进一步优化模型结构,探索更多的应用场景,为目标检测技术的发展做出贡献。

一键难忘的博客 3216

hanlp 词频统计_9. HanLP《自然语言处理入门》笔记--9.关键词、关键句和短语提取...

AI人工智能9. HanLP《自然语言处理入门》笔记--9.关键词、关键句和短语提取 9. 信息抽取信息抽取是一个宽泛的概念,指的是从非结构化文本中提取结构化信息的一类技术。这类技术依然分为基于规则的正则匹配、有监督学习和无监督学习等各种实现方法。我们将使用一些简单实用的无监督学习方法。由于不需要标注语料库,所以可以利用海量的非结构化文本。本章按照颗粒度从小到大的顺序,介绍抽...

weixin_30633869的博客 647

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Python 实战 | 进阶中文分词之 HanLP 词典分词(下)

中文分词“准确率”如何计算?看这篇就够了!

weixin_55633225的博客 619

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

java信息熵抽取关键词算法_9. HanLP《自然语言处理入门》笔记--9.关键词、关键句和短语提取...

9. 信息抽取信息抽取是一个宽泛的概念,指的是从非结构化文本中提取结构化信息的一类技术。这类技术依然分为基于规则的正则匹配、有监督学习和无监督学习等各种实现方法。我们将使用一些简单实用的无监督学习方法。由于不需要标注语料库,所以可以利用海量的非结构化文本。本章按照颗粒度从小到大的顺序,介绍抽取新词、关键词、关键短语和关键句的无监督学习方法。9.1 新词提取概述新词是一个相对的概念,每个人的标准都不...

weixin_32864847的博客 851

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

word2vec原理推导与代码分析

https://github.com/hankcs/HanLP/wiki/word2vec http://www.hankcs.com/nlp/word2vec.html Hanlp word2vector mark! 转载于:https://www.cnblogs.com/pengwang52/p/8718419.html

weixin_30951389的博客 105

Pytorch:jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext

日萌社 人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 文本预处理及其作用: 文本语料在输送给模型前一般需要一系列的预处理工作, 才能符合模型输入的要求, 如: 将文本转化成模型需要的张量, 规范张量的尺寸等, 而且科学的文本预处理环节还将有效指导模型超参数的选择, 提升模型的评估指标. 文本预处理中包含...

あずにゃん梓喵的博客 5315

nlp小记-分词

基于机器学习的分词:基于机器学习的分词方法使用机器学习算法,如支持向量机(Support Vector Machines,SVM)、最大熵模型(Maximum Entropy Model,MaxEnt)和神经网络等,通过训练模型来进行分词。基于机器学习的分词:基于机器学习的分词方法使用机器学习算法,如支持向量机(Support Vector Machines,SVM)、最大熵模型(Maximum Entropy Model,MaxEnt)和神经网络等,通过训练模型来进行分词。

qq_40140808的博客 261

HanLP《自然语言处理入门》笔记--6.条件随机场与序列标注

本章介绍一种新的序列标注模型条件随机场。这种模型与感知机同属结构化学习大家族,但性能比感知机还要强大。为了厘清该模型的来龙去脉,我们先对机器学习模型做番柿理。然后结合代码介绍条件随机场理论,探究它与结构化感知机的异同。

mantch 1107

自然语言处理工具中的中文分词器介绍

中文分词是中文文本处理的一个基础步骤,也是中文人机自然语言交互的基础模块,不同于英文的是,中文句子中没有词的界限,因此在进行中文自然语言处理时,通常需要先进行分词,分词效果将直接影响词性,句法树等模块的效果,当然分词只是一个工具,场景不同,要求也不同。在人机自然语言交互中,成熟的中文分词...

choufei7004的博客 182

尽管NLP不如大数据、机器学习听起来那么火,但我们每天都在使用它:

1、自动摘要-在给定输入文本的情况下,摈弃次要信息完成文本摘要。 2、情感分析-在给定文本中预测其主题,比如,文本中是否包含判断、观点或评论等。 3、文本分类-按照其领域分类不同的期刊、新闻报道。多文档分类也是可能的。文本分类的一个流行示例是垃圾电子邮件检测。基于写作风格,可检测作者姓名。 4、信息提取-建议电子邮件程序自动添加事件到日历。 Hanlp自然语言处理工具的使用演练 深度学习、机器学习...

多智时代的博客 824
上一篇: 业务场景下sql优化案例
Less_weight
博客等级 码龄9年 3粉丝 7原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值