qq_32091131的博客

原创 Hadoop伪分布式集群搭建

  Ubuntu 操作系统   1  & vim etc/hosts 2 配置jdk环境变量 & vi /etc/profile   保存退出 激活 & source /etc/profile 验证java环境变量 java –version 二 配置hadoop &  vi /etc/profile export JAVA_HOME...

原创 对话摘要综述

原创 关键词抽取算法TopicRank

1、文本预处理，分词，POS 2、筛选候选词，保留最长的名词和形容词序列； 3、采用HAC（层次凝聚聚类算法）聚类；（在超过25%重叠词的情况下，认为两个候选序列是相似的） ​ 编辑 添加图片注释，不超过 140 字（可选） 解释HAC 聚类算法 4、权重计算 ​ w（i,j）为权重，其中 dist(ci, cj ) 是文档中候选关键词 ci 和 cj 的偏移位置的倒数，其中 pos(ci) 表示候选关键词 ci 的所有偏移位置，节点之间全部有连接，无向图。 ...

原创 自动会议摘要HMNet（2020-SOTA），生成式文本摘要

A Hierarchical Network for Abstractive Meeting Summarization with Cross-Domain Pretraining.EMNLP2020 一、研究动机： 1、建模困难：角色多、交互、文本长、话题跳转 2、数据少 二、文章主要贡献： 1、提出Hierarchical Transformer，能够融合整个对话文本和角色信息，端到端地生成会议摘要； 2、采用新闻摘要数据构造伪会议摘要数据做预训练。 三、实现 （1）

原创 自动会议摘要DDAMS,2021-SOTA,生成式文本摘要

论文：Dialogue Discourse-Aware Graph Model and Data Augmentation for Meeting Summarization 一、研究动机 1. 会议文本建模不充分 2. 大规模训练数据集缺乏 二、文章主要贡献 1、引入对话篇章结构，提取句子之间交互结构信息； 2、通过DDADA构建的伪摘要数据集是原数据集大小的20倍，可以有效地用于预训练DDAMS会议摘要模型； 三、实现 （1）伪数据构建，Dialogue Discourse-

原创 linux 安装Anoconda 和neo4j（+jdk）

1、安装jdk，因为neo4j依赖jdk yum install java-1.8.0-openjdk-devel.x86_64 查看是否安装成功 java -version ​ 编辑配置环境变量 vi /etc/profile source /etc/profile 激活环境 验证环境变量 javac ​ 2、安装Anoconda 修改环境变量,末尾加入红色部分 vi /etc/profile ​ source /etc/profile 激活环境变量

原创 无监督文本摘要，生成式文本摘要

论文：Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders.AAAI2021 算法概要： 基于相似度选择对话主题句，然后借助降噪自编码器生成对话摘要。 训练：1、采用对比学习的思想训练句子相似度计算模型； 2、训练降噪自编码器用于后续生成对话摘要。 测试：基于MMR的想法，综合考虑重要性和冗余度选取对话主题句，然后使用降噪自编码器生成最终摘要。