yingdajun的博客

Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence《通过构建辅助句利用 BERT 进行基于方面的情感分析 》论文源码位置:https://github.com/HSLCY/ABSA-BERT-pair摘要提出了一种通过构造辅助句子，将基于方面的情感分析 (ABSA) 转换成句子对分类问题的方法，提高针对特定方面的细粒度意见极性，使用BERT模型，在SentiHood 和 Sem

简介mzcn是本人针对于matchzoo-py库出现的对中文文本语料处理不友好，而开发出的新版本，具体功能介绍在这里：https://blog.youkuaiyun.com/yingdajun/article/details/119846966新版本功能介绍目前通过阅读Facebook公司提出的pytext的框架，给原本的mzcn模型添加了以下三个功能：1.支持一键进行训练2.一键导出ONNX格式3.检测是否可以进行预测（由于本人电脑性能贼差，刚毕业没有余钱换电脑，所以预测结果很垃圾，但是估计性能好一点

mzcn中文版本的matchzoo-py本库包是基于matchzoo-py的库包做的二次开发开源项目，MatchZoo 是一个通用的文本匹配工具包，它旨在方便大家快速的实现、比较、以及分享最新的深度文本匹配模型。由于matchzoo-py面向英文预处理较为容易，中文处理则需要进行一定的预处理。为此本人在借鉴学习他人成功的基础上，改进了matchzoo-py包，开发mzcn库包。mzcn库包对中文文本语料进行只保留文本、去除表情、去除空格、去除停用词等操作，使得使用者可以快速进行中文文本语料进行预

论文《PYTEXT: A SEAMLESS PATH FROM NLP RESEARCH TO PRODUCTION》学习总结Abstract阐述工作内容写了一个基于pytorch的模型部署文件框架，该框架可以调和算法工程师快速实验和大规模服务模型部署之间的矛盾创新点1.为模型组件提供简单可扩展的接口2.利用pytorch导出模型以便送入caff2模型进行推断3.同时构建多个单任务模型，通过上述的模块，确定共享的模型参数，进行共同的研究，可以对于多个任务使用一个或者多个输入表示联合训练模型I

利用matchzoo-py库实现房地产问答匹配问题导入库包# import matchzoo as mzimport pandas as pdimport numpy as npimport numpy as np # import tensorflow.keras as K# from matchzoo.preprocessors import BasicPreprocessorfrom sklearn.model_selection import train_test_splitimp

当前时间是2021/6/16，matchzoo作为非常强大的文本匹配库，当前未更新到TF2.4以上版本，无法使用本机3090加速，为此我将源码反向推导实现，使用TF2.4形式实现这些模型"""作者英俊QQ 2227495940所有权：西安建筑科技大学草堂校区 信控楼704实验室""""暂定只能扣13个模型出来"'暂定只能扣13个模型出来'## Denseline```pythoninput1 = Input(name='text_left', shape=(max_len,))

当前时间是2021/6/16，matchzoo作为非常强大的文本匹配库，当前未更新到TF2.4以上版本，无法使用本机3090加速，为此我将源码反向推导实现，使用TF2.4形式实现这些模型"""作者英俊QQ 2227495940所有权：西安建筑科技大学草堂校区 信控楼704实验室""""暂定只能扣13个模型出来"'暂定只能扣13个模型出来'模型创建# 开始导入各种模型和层from tensorflow.keras import Model,Inputfrom tensorflow.k

当前时间是2021/6/16，matchzoo作为非常强大的文本匹配库，当前未更新到TF2.4以上版本，无法使用本机3090加速，为此我将源码反向推导实现，使用TF2.4形式实现这些模型"""作者英俊QQ 2227495940所有权：西安建筑科技大学草堂校区 信控楼704实验室""""暂定只能扣13个模型出来"'暂定只能扣13个模型出来'导入第三方库包# 导入tf 框架以及tf框架里面的keras，之后的反推模型需要依赖这两个库import tensorflow as tf #导入T

这篇博客算是我对自己能力的备忘录，以后使用TF2.0框架，正常情况下，就使用这篇博客内容去调这篇博客主要描述了模型搭建、管道创建、不同训练模式、不同优化器、不同损失器、不同指标、不同的衡量标准这里用泰坦尼克号的数据为例作为练习。第三方库读取import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport tensorflow as tffrom tensorflow.keras import mod

前言参加了贝壳找房的房产问答匹配比赛（比赛链接：https://www.datafountain.cn/competitions/474），于是利用matchzoo库解决房产行业问答匹配比赛问题。比赛流程导入第三方库包import matchzoo as mzimport pandas as pdimport numpy as npimport numpy as np import tensorflow.keras as Kfrom matchzoo.preprocessors

这就是最后的部分，关于语言建模、多选、问答系统、文本分类、命名实体识别等任务的模型微调，这一块我也是直接看人家笔记本总结的。按照这三个部分，这个库基本就弄熟了语言建模主要有这两种方式进行建模因果语言建模：模型必须预测句子中的下一个标记（因此标签与向右移动的输入相同）。为确保模型不作弊，当尝试预测句子中的标记i + 1时，它将获得一个注意掩码，以防止其访问标记i之后的标记。 屏蔽语言建模：模型必须预测输入中被屏蔽的一些标记。它仍然可以访问整个句子，因此它可以在屏蔽标记之前和之后使用标记来预测其值

接着第一部分，这里写如何使用自定义数据集，调用transformers库去训练模型，其实感觉本质就是如何把数据集合理读取进来。文本分类使用aclImdb数据集，我比较倾向于直接用list把文本给读取进来（一）数据准备#数据读取from pathlib import Pathdef read_imdb_split(split_dir): split_dir = Path(split_dir) texts = [] labels = [] for labe

这是我对transformers库查看了原始文档后，进行的学习总结。第一部分是将如何调用加载本地模型，使用模型，修改模型，保存模型之后还会更新如何使用自定义的数据集训练以及对模型进行微调，感觉这样这个库基本就能玩熟了。# 加载本地模型须知* 1.使用transformers库加载预训练模型，99%的时间都是用于模型的下载。为此，我直接从清华大学软件（"https://mirrors.tuna.tsinghua.edu.cn/hugging-face-models/"）把模型放在了我的本地目

和师弟联手利用了matchzoo框架搭建了11套文本匹配模型，作为一个新框架的出现，以后会在我们的github上对这个框架逐渐进行拓展。我们做的作品的github地址是：https://github.com/yingdajun/matchzooExample-我们搭建了BiMPM、ConvKNRM、DenseBaseline-model、DRMMTKS.DUET、ESIM、HBMP、KNRM、MatchLSTM、MatchSRNN、MVLSTM模型。...

和师弟共同实现的基于fastnlp框架搭建的常见的文本分类模型，例如textCNN、textRNN、textRCNN、DPCNN模型。github地址是：https://github.com/yingdajun/fastNLPTextClassifly

最近在学习seq2seq模型，以实现常见的问答、机器翻译、文本摘要功能。所以采用三种方式（1）利用keras库搭建seq2seq（2）利用keras_transformer库（3）利用fastnlp框架实现问答机器人、机器翻译、文本摘要等功能下面是github源码：https://github.com/yingdajun/seq2seqForExample...

从matchzoo中反向推导深度学习文本匹配模型，以后会逐渐增加新模型，就当是练手了。有源码，有数据，有导出的模型图片，有模型参数结构，可以方便下载。github地址如下：https://github.com/yingdajun/ReverseMatchZoo...

这里是利用了textCNN、textRNN、Bi-LSTM、CNN+RNN、Transformer模型搭建的文本匹配项目。Github地址在这里：https://github.com/yingdajun/chinese_text_match_By_all_pattern.git

作者为了应付毕业，所以在补充深度学习相关知识，这是我尝试把word2vec和深度学习相互结合的一次记录。数据集来源 数据集预处理 生成word2vec模型 搭建网络并且训练数据集来源本文的数据集源自kaggle比赛中的NLP入门比赛，灾难新闻预报警。数据集预处理数据导入：import numpy as npimport pandas as pdtrain_df = pd.read_csv("data/train.csv")test_df = pd.read_csv(.

这是我将文本分类算法作为大包装，然后得到的作品。1.数据预处理2.文本分类算法模型管道搭建。（1）机器学习模型（2）深度学习模型

keras库真的是一个非常好用，非常简单，和各种框架相容的框架。中文文档位置在这里：https://keras.io/zh/我的感觉，搭建步骤是这样的：1.熟悉Model模块，搭建一个Model2.熟悉layers模块，熟悉每层3.熟悉激活函数与正则化，这是每层中神经元的特点4.然后就是比较重要的Application，这个类似于我做NLP过程中的预处理模型下载。5.然后就是一些常用的数据处理。...

github源码在这里：https://github.com/yingdajun/keras-Comman-DL-Model

泰坦尼克号生存率预测使用了CNN\RNN\LSTM\GRU版本：https://github.com/yingdajun/titanicDL

看这个keras入门视频学习了源码https://www.bilibili.com/video/BV1Ct411H7rm?p=12&t=292# 这里是源码：https://github.com/yingdajun/keras-码云源码：https://gitee.com/www.ydj.com/keras-code