15、文本摘要与米佐语新闻分类的机器学习探索

文本摘要与米佐语新闻分类的机器学习探索

一、区域语言文本摘要技术综述

许多学者针对不同的区域语言提出了文本摘要技术，这些技术基于语言的丰富性、相应语言的规则以及所采用的方法。以下是一些针对区域语言提出的摘要技术的回顾：
|学者|语言|技术方法|数据集|特点|
| ---- | ---- | ---- | ---- | ---- |
|Megala 等|未明确提及|模糊逻辑方法实现自动文本摘要系统，并与神经网络方法比较，采用精度、召回率和 F - 度量进行评估|50 篇从在线资源收集的法律判决文档|与神经网络方法相比，平均度量效果更好|
|Gupta 和 Kaur|旁遮普语|采用基于位置和统计的特征的混合技术，使用支持向量机分类器处理不平衡数据|从两个数据集中随机选择的近 150 篇文档|与其他基线系统相比，性能表现良好|
|Sethi 等|未明确提及|基于主题进展创建词汇链来生成连贯摘要，不基于文本的语义解释|来源未知的新闻文章|首句中的名词得分高，用于创建词汇链，根据词汇链对句子评分生成摘要|
|Varma 和 Om|未明确提及|基于元启发式优化的多文档摘要生成，采用基于教学 - 学习的优化方法|DUC 数据集|生成句子评分方法及其权重的最优组合，与其他启发式方法比较，从精度、召回率、F1、可读性、信息非冗余性和连贯性等方面衡量性能|
|Manjari|泰卢固语|预处理阶段去除停用词，识别同音词和连词，使用连续词袋模型生成词嵌入，用余弦相似度衡量句子相似度，采用 TextRank 算法|未明确提及|TextRank 算法被证明是最简单且最好的文本摘要算法|

二、泰米尔语自动文本摘要框架

2.1 框架概述