Orange3实战教程:文本挖掘---语料库

语料库

加载一个包含文本文档的语料库(可选择性标注类别),或更改输入信号以导入语料数据。

输入

  • 数据:输入数据(可选)

输出

  • 语料库:一组文档的集合。

语料库组件 有两种工作模式:

  1. 无输入数据时:
    从文件中读取文本语料库,并通过输出通道发送语料库实例。组件会维护最近打开文件的历史记录,并附带预装的示例语料库目录。支持的文件格式包括:

    • Excel (.xlsx)
    • 逗号分隔文件 (.csv)
    • 原生制表符分隔文件 (.tab)
  2. 有输入数据时:
    将输入数据转换为语料库。用户可指定哪些特征作为文本特征使用。

界面功能说明:

  1. 浏览之前打开的数据文件,或加载示例文件。
  2. 浏览本地数据文件。
  3. 重新加载当前选中的文件。
Orange3实战教程:文本挖掘---创建语料库 “创建语料库”是一个便捷的工具,用于生成和管理文档样本。用户可以通过手动输入或从剪贴板粘贴内容来创建语料库,适用于教育或文档预测场景。工具界面支持添加新文档、删除文档以及输入文档内容,操作简单直观。示例展示了如何输入三个新文档并通过“语料库查看器”显示它们,帮助用户快速构建和查看语料库。 阅读详情

相关推荐

Orange3实战教程:文本挖掘---语料查看器

语料查看器是一款用于浏览和分析文本语料库的工具。它可以显示文档集合的基本统计信息,包括文档数量、预处理状态、词性标注情况等。该工具支持正则表达式过滤功能,用户可以根据关键词筛选文档,并选择需要显示的字段。主要特点包括:显示预处理后的词元和词性标签、多字段搜索选项、自动或手动提交查询等。典型应用场景包括查看预处理后的文本数据、按关键词筛选文档,以及进行后续分析。示例展示了如何使用该工具查看包含特定角色名称的文档。

err2008的专栏 89

Orange3实战教程:文本挖掘---标注语料库地图

Oreange3,文本挖掘,标注语料库地图用于在二维投影中可视化、聚类文档,并用关键词进行标注。

err2008的专栏 817

Orange3实战教程:文本挖掘---语料库转网络

摘要:语料库转网络工具将文档集合转换为网络结构,支持两种节点类型:文档或单词(n-grams)。文档网络通过共享词语建立连接,词共现网络则基于窗口内共现频率构建。该工具提供阈值、窗口大小和频率阈值等参数调节网络密度,适用于文本分析、特征增强等场景。示例展示了文档网络构建、高频词可视化以及网络特征提升分类准确率的应用。输出网络可与可视化工具连接,实现基于词频或网络指标的深入分析。

err2008的专栏 99

Orange3实战教程:文本挖掘---情感分析

本文介绍了情感分析工具的功能和应用。该工具采用多种基于词典的方法(Liu & Hu、Vader、多语言情感词典、SentiArt、LiLaH情感词典)分析文本情感倾向,支持包括英语、中文等在内的40多种语言。文章展示了使用案例:分析2016年美国大选推文的情感倾向,通过数据处理流程(采样、聚类、可视化)识别负面推文。各方法计算方式不同,如Liu Hu通过正负面词差值归一化得出百分比情感得分,Vader则提供复合情感评分。工具还支持用户上传自定义词典进行个性化分析。文末附有相关研究文献和完整支持语言列

err2008的专栏 687

Orange3实战教程:文本挖掘---文本预处理

本文介绍了文本预处理的流程和方法。预处理主要包括转换(如小写化)、分词(如按单词或句子拆分)、归一化(如词干提取)、过滤(如停用词去除)、N-gram生成和词性标注等步骤。文章详细说明了每个处理模块的功能选项,包括7种分词方式、5种归一化方法以及多种过滤规则(停用词、词频、正则表达式等)。同时强调了处理顺序的重要性,建议流程应为:转换→分词→词性标注→归一化→过滤→N-gram。最后提供了两个应用示例:图书摘要的词云分析和推文预处理,展示了预处理工具的实际使用场景。文末还附有常用正则表达式参考。

err2008的专栏 543

Orange3实战教程:文本挖掘---主题建模

主题建模通过LDA、LSI或HDP算法分析文档集合,自动发现隐含主题结构。组件输入为文档语料库,输出包括带主题权重的语料库、主题词分布及完整主题数据。不同算法特性各异:LSI允许正负权重但解释性较弱,LDA更易解释,HDP参数复杂需谨慎设置。结果可结合词云、热力图等可视化工具分析主题特征及分布。示例显示如何通过预处理文本、选择算法(如提取5个LDA主题),并利用MDS和箱线图探索主题间关系及关键词分布。

err2008的专栏 361

Orange3实战教程:文本挖掘---提取关键词

本文介绍了关键词提取的方法与应用。首先概述了从语料库中提取特征词的基本流程,包括输入参数(文档集合和单词表)与输出结果。重点阐述了四种关键词评分方法:TF-IDF(基于词频和逆文档频率)、YAKE!(先进的无监督方法)、Rake(基于停用词的无监督方法)以及基于SBERT词向量余弦距离的嵌入方法。通过book-excerpts语料库示例,展示了预处理(分词、词形还原等)后使用TF-IDF提取关键词的过程,并说明结果可应用于单词列表编辑或后续分析组件。最后引用了Campos等人和Rose等人的相关研究文献。

err2008的专栏 87

Orange3实战教程:文本挖掘---语义查看器

摘要(145字): 语义查看器是一款文本分析工具,用于识别语料库中与关键词相关的文档片段。用户输入预处理后的文档集合和关键词表,系统通过计算句子级语义相似度(SBERT嵌入向量余弦值)匹配内容,并支持阈值过滤和分级显示(全文/段落/句子)。典型应用场景包括:预处理文本后提取特征词,人工补充关键词(如"princess"等),通过语义匹配定位相关文本(如标记童话故事中的皇室角色段落)。该工具可视化展示匹配文档、分数及上下文,适用于精准文本挖掘与分析。

err2008的专栏 84

Orange3实战教程:文本挖掘---统计

摘要:统计工具用于为语料库文档添加各类统计特征,包括词数、字符数、N-gram数量、标点符号数等基础指标,以及词性标注、正则匹配等高级功能。用户可通过交互界面灵活添加/移除特征,输出结果可应用于数据分析或增强词袋模型。部分功能需依赖预处理文本生成的词性标注信息。该工具支持自定义统计变量,为文本挖掘提供基础特征构造能力。

err2008的专栏 86

Orange3实战教程:文本挖掘---《推特》

Orange3推特组件支持通过Twitter API查询推文。您可以按内容、作者或两者组合进行查询,并且如果需要创建更大的数据集,可以累积结果。该微件仅支持REST API,并且最多允许查询过去两周内的推文。

err2008的专栏 402

Orange3实战教程:文本挖掘---导入文档

本文介绍了如何从本地文件夹导入文本文档以创建语料库,支持多种文件格式如 .txt、.docx、.pdf 等。导入过程中,无法读取的文件会被跳过,而成功导入的文件将构成语料库。特别地,自 Text 1.5.0 版本起,Orange 支持处理 .conllu 文件,将其中的词元、词性标签和命名实体作为标记添加到语料库。操作步骤包括选择文件夹、加载数据,并可通过「语料库查看器」查看内容。示例展示了如何通过子文件夹对文档进行分类,子文件夹名称将作为类别标签。

err2008的专栏 106

Orange3实战教程:文本挖掘---重复检测

摘要 重复检测工具通过聚类算法识别语料库中的重复项,支持设置相似度阈值(数值越低要求越高),输出无重复语料库或重复集群。适用于文本数据(如Twitter转发)或结构化数据(如iris数据集),需配合距离计算(如欧氏距离)使用。操作流程包括:加载数据→计算距离矩阵→设置阈值检测→输出结果。可视化界面显示文档数量、聚类选项及集群详情,点击可查看具体重复内容。(150字)

err2008的专栏 70

Orange3实战教程:文本挖掘---词汇丰富度分析

**词汇丰富度**功能会显示选定子集与整个语料库相比具有较低 p 值(更高显著性)的词汇列表。p 值越低,表明该词汇在选定子集中越显著(非随机出现)。FDR(错误发现率)与 p 值相关,用于预测结果集中的错误预测比例,即控制低 p 值列表中的假阳性。

err2008的专栏 258

Orange3实战教程:文本挖掘---相似性哈希

相似性哈希(SimHash)是一种将文档转化为哈希值的文本处理方法。该工具使用Charikar提出的算法,通过设置哈希位数和shingle长度等参数,为文档生成特征向量。用户可选择自动或手动提交处理结果。示例展示了如何对小型语料库应用该技术,输出包含64个新属性的数据集。这种方法适用于文档去重、相似性检测等场景,是文本挖掘领域的重要预处理工具。

err2008的专栏 77

Orange3实战教程:文本挖掘---上下文检索

上下文检索工具用于分析文本语料库中的词语使用情况。该工具能查找特定查询词并显示其在文本中的上下文环境,输出包含该词的所有文档及其上下文表格。主要功能包括:显示文档统计信息(总文档数、标记数、唯一词数)、设置上下文词数范围、精确匹配查询词。典型应用场景包括:分析词语在不同文档中的使用语境,或导出上下文数据供进一步研究。使用时需注意该工具仅匹配完全相同的词形。

err2008的专栏 267

Orange3实战教程:实例---文本预处理

文本挖掘需要仔细的预处理。下面是一个使用简单的预处理从文档创建tokens的工作流。首先,它应用小写,然后将文本拆分为单词,最后,它删除频繁的非索引词。预处理是特定于语言的,因此在需要时将语言更改为文本的语言。预处理的结果可以在词汇云中观察。双击 词汇云 组件,便可观察到最频繁的tokens:在对话框的左边能看到词汇的权重和词汇名称,通过选项也可以调整颜色和倾斜度。

err2008的专栏 177

Orange3实战教程:文本挖掘---文档地图

摘要(147字) "文档地图"是Orange中的文本分析小工具,用于可视化文档中提及的地理位置分布。它通过识别文本中的国家/首都名称,在交互式地图上以颜色深浅展示提及频率。用户可筛选特定国家关联的文档,支持多选操作。典型应用场景包括新闻数据分析,例如从《纽约时报》文章中提取斯洛文尼亚相关报道后,通过该工具发现德国的高关联性文档,进而结合词云分析内容主题。工具需配合字符串数据使用,提供世界/欧洲/美国三种地图视图,支持缩放和多文档联动分析。

err2008的专栏 67

Orange3实战教程:文本挖掘---文档评分

该文档评分组件通过分析词语在文本中的出现情况来评估文档。系统提供三种评分方法(词频统计、词占比、相似度)和多种聚合函数(均值/中位数/最小值/最大值),支持多种输出方式(全部/手动/高分文档)。使用前需进行文本预处理(如分词、词干化等),典型应用场景包括查找与特定词表语义相似的文档。示例展示了如何结合预处理、关键词提取和文档评分组件,计算包含"princess"等关键词的文档得分。组件支持自动发送或手动操作,并提供文档筛选功能。

err2008的专栏 84

基于ROS2系统开发机器人

以上是基于ROS 2开发机器人的基本流程和一个简单的发布者-订阅者示例。通过这个流程,你可以逐步扩展和优化你的机器人系统,实现更复杂的功能。

xuweilin的博客 1493

Python大数据舆情分析系统开发实战

舆情监测系统是大数据分析的重要应用场景,通过自然语言处理(NLP)技术解析社交媒体文本情感倾向。基于Python技术栈的解决方案整合了Scrapy爬虫框架进行数据采集,PySpark处理海量文本数据,结合SnowNLP和Jieba实现中文语义分析。系统采用微服务架构设计,包含数据采集层、处理层、存储层和应用层,通过情感分析优化和实时热点检测算法提升监测准确率。典型应用包括企业品牌监测、公共事件预警等场景,开发过程中需特别注意数据合规性和分布式集群的性能调优。

weixin_34408624的博客 386

Obsidian的Git插件设置配置全流程 -- 简单的电脑端多平台同步方案及常见问题

Git同步obsidian的保姆级教程和常见问题

weixin_44370439的博客 1万+

【移远EG800K-CN】从AT指令到MQTT实战:4G模块云端通信全解析

本文详细解析移远EG800K-CN 4G模块的AT指令应用与MQTT云端通信实战。从硬件连接到网络配置,再到MQTT协议的数据上报与命令接收,提供了完整的物联网通信解决方案,帮助开发者快速实现设备与云端的稳定数据交互。

o1p2q3r的博客 559

含分布式光伏的IEEE 33节点配电网电压越限仿真分析

摘要 本文针对分布式光伏接入配电网引发的电压越限问题,基于IEEE 33节点系统开展仿真研究。首先分析了光伏出力的随机性和波动性特性,采用Beta分布和马尔可夫链方法建立光伏出力模型;其次在MATLAB/Simulink平台搭建完整测试系统,包含光伏模型、配电网线路模型和控制模块;最后通过多场景仿真定量分析了不同光伏渗透率和接入位置对节点电压的影响。结果表明:光伏渗透率提高会显著增加电压越限风险,特别是线路末端节点;光伏接入位置对电压分布具有决定性影响,馈线末端接入更易引发电压越限。研究为含高比例光伏的配电

huanghm88的专栏 318

4.6 知识库使用指南:如何让AI Agent拥有专业知识

本文介绍了如何为AI Agent构建和使用知识库。知识库的作用是为Agent提供专业知识,包含文档、数据和规则,可用于专业问答和知识检索。使用方法包括创建知识库(上传文档)、向量化处理、知识检索以及在Agent中的应用。核心要点是理解知识库的价值和使用流程。文章还提出了构建方法、检索优化和应用实践等思考题,建议准备高质量数据、优化检索效果并持续更新知识库。下节将介绍用LangGraph构建复杂AI应用。

yonggeit的博客 3007

UE5 Niagara基础知识讲解

在UE5版本中,Niagara粒子系统引入了许多可添加的模块,分别用于控制发射器的生成和更新、粒子的生成和更新以及渲染效果。本文采用虚幻5.2.1版本,以图文方式对Niagara基础知识进行讲解。

一碗清深的博客 2468

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

上一篇: Orange3实战教程:文本挖掘---导入文档
下一篇: Orange3实战教程:光谱学--- 4+角度偏振分析
err2008
博客等级 码龄19年 492粉丝 312原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

err2008

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值