实体识别和关系抽取的联合模型multihead_joint_entity_relation_extraction项目增加VAT
github代码地址:https://github.com/bekou/multihead_joint_entity_relation_extraction
原有项目中只有对抗训练的代码,但是对抗训练的效果还是没用虚拟对抗训练的效果更好,研究了几天的算法,终于加上了虚拟对抗训练的代码,有问题可以留言讨论。
###########################虚拟对抗训练###########################
# 虚拟对抗训练 ner_score_logits, relations_probas
# 为了产生对抗性扰动,从随机扰动开始r并使其成为单位范数。
r_ner = tf.random_normal(shape=tf.shape(ner_score_logits))
r_ner = self.make_unit_norm(r_ner) # r/||r|| * epsilon epsilon=0.001
r_rel = tf.random_normal(shape=tf.shape(relations_probas))
r_rel = self.make_unit_norm(r_rel) # r/||r|| * epsilon epsilon=0.001
embeddings_input_r = embeddings_input + r_ner + r_rel
_, _, _, _, _, ner_score_logits_r, relations_probas_r = self.computeLoss(embeddings_input_r,
dropout_embedding_keep,
dropout_lstm_keep,
dropout_lstm_output_keep, seqlen
实体关系联合模型VAT

最低0.47元/天 解锁文章
2274

被折叠的 条评论
为什么被折叠?



