实体识别和关系抽取的联合模型multihead_joint_entity_relation_extraction增加虚拟对抗训练VAT virtual adversarial training

实体关系联合模型VAT

实体识别和关系抽取的联合模型multihead_joint_entity_relation_extraction项目增加VAT

github代码地址:https://github.com/bekou/multihead_joint_entity_relation_extraction
原有项目中只有对抗训练的代码,但是对抗训练的效果还是没用虚拟对抗训练的效果更好,研究了几天的算法,终于加上了虚拟对抗训练的代码,有问题可以留言讨论。

###########################虚拟对抗训练###########################
# 虚拟对抗训练  ner_score_logits, relations_probas
# 为了产生对抗性扰动,从随机扰动开始r并使其成为单位范数。
r_ner = tf.random_normal(shape=tf.shape(ner_score_logits))
r_ner = self.make_unit_norm(r_ner)  # r/||r|| * epsilon     epsilon=0.001
r_rel = tf.random_normal(shape=tf.shape(relations_probas))
r_rel = self.make_unit_norm(r_rel)  # r/||r|| * epsilon     epsilon=0.001
embeddings_input_r = embeddings_input + r_ner + r_rel
_, _, _, _, _, ner_score_logits_r, relations_probas_r = self.computeLoss(embeddings_input_r,
                                                           dropout_embedding_keep,
                                                           dropout_lstm_keep,
                                                           dropout_lstm_output_keep, seqlen
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值