杰哥不要-BERT-WMM-全词遮罩填充

最新推荐文章于 2024-11-07 15:46:18 发布
原创 最新推荐文章于 2024-11-07 15:46:18 发布 · 1.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nlp #人工智能 #机器学习 #自然语言处理 #深度学习

本文通过使用BERT-wwm模型进行全词遮罩填充，研究在“杰哥不要”场景中AI如何填补空白。实验发现，模型对于没有前后文的字词和日常称呼预测效果不佳，而追求连贯性的文本生成则更有效。未来可能在非传统文本训练上找到新的可能性。

杰哥不要-BERT-WMM-全词遮罩填充

完整代码

杰哥不要_BERT_WMM_遮罩填充.ipynb

前言

最近在B站杰哥区看了几百集平行宇宙剧本，也看过114514次翻译和AI续写的版本。忽然，萌生了一个想法：如果把200多句对白部分的字词遮罩，让AI去填写会有什么效果呢?。我很好奇，因此本代码主要以全词遮罩的中文预训练模型BERT-wwm去探索"杰哥不要"的可能性。

参考

HuggingFace Transformer API

中文BERT-wwm

杰哥不要啦完整台词整理

BERT模型 vs 王思聪！看一看谁的土味情话更加肉麻？

数据收集

这里感谢up主碳酸镁儿的整理，这里主要是关键对白，本人

最低0.47元/天 解锁文章
基于BERT-WMM的新闻文本分类：完整代码数据和详细教程
CodeWOW的博客
09-17 307
我们将使用Transformers库加载和使用BERT模型，并结合Word Mover’s Distance（WMD）进行文本分类。通过使用BERT模型和Word Mover’s Distance，我们能够实现对中文新闻文本的分类任务。在这篇文章中，我将向你介绍如何使用BERT-WMM（Word Mover’s Distance）模型对新闻文本进行分类。我们将使用THUCNews数据集，并提供完整的代码和详细的教程，以便你能够直接运行并理解这个模型。然后，我们将读取数据集文件，并将其划分为训练集和测试集。
基于BERT和BERT-WMM的微博评论情感分析
CodeWOW的博客
09-19 574
BERT是一种基于Transformer架构的预训练语言模型，通过学习大规模文本数据的上下文关系，可以有效地捕捉词语之间的语义信息。BERT-WMM是在BERT的基础上，结合了词语移动距离（Word Mover’s Distance）的方法进行情感分析。接下来，将编码后的评论输入BERT模型，利用模型的输出进行情感分类。最后，根据模型的预测结果，打印出评论的情感分类。函数，该函数接收两条评论文本、BERT模型和tokenizer作为输入，通过调用BERT模型获取词语的嵌入向量，并计算词语移动距离。
Chinese-BERT-wwm：汉语BERT的全字掩蔽预训练（EnglishBERT-wwm系列模型）
02-03
| 在自然语言处理领域中，预训练语言模型（预训练语言模型）已成为非常重要的基础技术。为了进一步促进中文信息处理的研究发展，我们发布了基于全词遮罩（Whole Word Masking）技术的中文预训练模型BERT-wwm，以及更多技术相关的模型：BERT-wwm-ext，RoBERTa-wwm-ext，RoBERTa-wwm-ext-large，RBT3，RBTL3。 崔一鸣，车万祥，刘婷，秦兵，杨自清，王世进，胡国平 本项目基于谷歌官方BERT： : 其他相关资源： MacBERT预训练模型： : 中文ELECTRA预训练模型： : 中文XLNet预训练模型： : 知识蒸馏工具TextBrewer： : 查看更多哈工大讯飞联合实验室（HFL）发布的资源： : 新闻 2021年1月27日所有模型已支持TensorFlow 2，请通过变压器库进行调用或下载。 2020/9/15我们的论文被录用为长文。 2020/8/27哈工大讯飞联合实验室在通用自然语言理解评论GLUE中荣登榜首，查看，。 2020/3/23本目录发布的模型已接收 ，查看 2020/3/11
Python-中文全词覆盖WholeWordMaskingBERT的预训练模型
08-12
中文全词覆盖（Whole Word Masking）BERT的预训练模型
【论文泛读148】ChineseBERT：通过字形和拼音信息增强的中文预训练
scu-liu的博客
07-01 1927
贴一下汇总贴：论文阅读记录 论文链接：《ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information》 一、摘要 最近的中文预训练模型忽略了中文特有的两个重要方面：字形和拼音，它们为语言理解携带重要的句法和语义信息。在这项工作中，我们提出了 ChineseBERT，它将汉字的 {\it glyph} 和 {\it pinyin} 信息合并到语言模型预训练中。字形嵌入是基于汉字的不同字体获得的，能够从视觉特征中捕捉字符语义，
全局遮罩 shade
weixin_30797199的博客
08-04 174
使用dom实现全局遮罩和局部遮罩//使用dom实现全局遮罩 <title>DOM练习</title> <script type="text/javascript"> //4,使用dom实现全局遮罩和局部遮罩 //使用dom实现全局遮罩 function shade(){ var div = do...
从jieba分词到BERT-wwm——中文自然语言处理（NLP）基础分享系列（1）
weixin_49518391的博客
09-06 544
从jieba分词到BERT-wwm，一步步带你进入中文NLP的世界。本期主要为书写起源、业务问题背景的介绍。
创新型调制方案-剪枝DFT扩展FBMC结合SC-FDMA优势研究（Matlab代码实现）
最新发布
10-30
内容概要：本文介绍了一项关于创新型调制方案的研究，提出将剪枝DFT扩展技术与滤波器组多载波（FBMC）和单载波频分多址（SC-FDMA）相结合，旨在实现低峰均功率比（PAPR）、低延迟和高谱效率的通信性能。...
基于LSTM-Adaboost的电力负荷预测（Matlab代码实现）
10-26
内容概要：本文介绍了基于LSTM-Adaboost组合模型的电力负荷预测方法，并提供了Matlab代码实现。该方法结合长短期记忆网络（LSTM）对时间序列数据的强大建模能力与Adaboost算法的集成学习优势，有效提升了电力负荷...
基于1D-GAN生成对抗网络的数据生成方法研究（Matlab代码实现）
10-26
内容概要：本文围绕基于1D-GAN生成对抗网络的数据生成方法展开研究，重点介绍了一维生成对抗网络在数据合成中的原理与实现过程，并提供了完整的Matlab代码实现方案。文章详细阐述了生成器与判别器的网络结构设计、...
自适应噪声消除环境中模拟FXRLS-NKP TF算法研究（Matlab代码实现）
10-25
内容概要：本文围绕自适应噪声消除环境中的FXRLS-NKP TF算法展开研究，重点介绍了该算法在抑制噪声干扰方面的仿真与实现过程，并提供了完整的Matlab代码支持。文章详细阐述了FXRLS-NKP TF算法的理论基础、结构设计...
Python-本实验是用BERT进行中文情感分类记录了详细操作及完整程序
08-10
本实验，是用BERT进行中文情感分类，记录了详细操作及完整程序
飞桨常规赛：中文新闻文本标题分类-10月第2名方案
m0_63642362的博客
11-26 2460
飞桨常规赛：中文新闻文本标题分类-10月第2名方案
BERT生成句向量
平平淡淡，戒急用忍，一生学闭嘴。
10-27 1284
在阅读本文之前如果您对BERT并不了解，请参阅我的其他博文BERT完全指南 简介 之前的文章介绍了BERT的原理、并用BERT做了文本分类与相似度计算，本文将会教大家用BERT来生成句向量，核心逻辑代码参考了hanxiao大神的bert-as-service，我的代码地址如下： 代码地址：BERT句向量 传统的句向量 对于传统的句向量生成方式，更多的是采用word embedding的方式取加权平均，该方法有一个最大的弊端，那就是无法理解上下文的语义，同一个词在不同的语境意思可能不一样，但是却会被
基于bert_wmm的新闻文本分类THUCNews数据集 完整代码数据 可直接运行 毕业设计 详细教程
07-01 1082
基于bert_wmm的新闻文本分类THUCNews数据集 完整代码数据 可直接运行 毕业设计 详细教程
【BERT类预训练模型整理】
Wwwwwww527的博客
05-16 5038
BERT类预训练模型整理一、BERT的相关内容BERT的预训练技术1.掩码机制2.NSP（ Next Sentence Prediction）BERT模型的局限性二、RoBERT的相关内容三、SpanBERTa的相关内容四、ALBERT的相关内容五、MacBERT的相关内容 在本帖中，小阿奇将从中文预训练模型的角度去回顾最近自然语言处理领域中代表性的预训练语言模型的技术，自己也进行一个详细的整理 一、BERT的相关内容 BERT(来自transformer的双向编码器表示)(Devlin等人，2019年)在
查漏补缺之（二）—— 后BERT时代-XLNET、RoBERTa、ALBERT、ELECTRA
竹杖芒鞋轻胜马
04-06 712
后BERT时代-XLNET、RoBERTa、ALBERT、ELECTRA的模型概览
全词遮蔽（WWM）和 掩码 mask技术
ZJQ的博客
11-07 459
全词遮蔽（WWM）技术是自然语言处理中预训练模型的一种训练策略，与传统的mask技术相比，它在处理中文文本时具有显著的优势。以下是对全词遮蔽技术的详细说明，包括其优势以及与mask技术的区别，并通过举例进行阐述。综上所述，全词遮蔽技术在处理中文文本时具有显著的优势，能够保留语义完整性、提升模型性能，并减少计算量。与传统的mask技术相比，它在中文自然语言处理任务中更具优势。这种策略旨在更好地保留中文语义的完整性，因为中文中词语是语义的基本单元。传统的mask技术是在预训练模型的掩码语言模型任务中随机遮蔽。
最简单的BERT模型调用方法
zenRRan的博客
12-23 2728
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要6分钟跟随小博主，每天进步一丢丢来自：AINLP作者：段清华（金证优智技术总监）原文链接：https://zhuanlan.zhih...
Objective-C技术课程体系设计指南
资源摘要信息:"Objective-C是一种广泛应用于苹果生态系统的编程语言，尤其在iOS应用开发中占有重要地位。为了设计一套完整的Objective-C技术课程体系，需要结合编程知识和技术开发实践，制定合理的教学计划和内容...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值