关系抽取实验记录

最新推荐文章于 2025-06-03 13:14:52 发布

原创最新推荐文章于 2025-06-03 13:14:52 发布 · 385 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #自然语言处理 #机器学习 #神经网络 #pytorch

自然语言处理同时被 2 个专栏收录

1 篇文章

订阅专栏

关系抽取

1 篇文章

订阅专栏

该实验记录了多个金融事件抽取模型的训练过程，包括pa_lstm_crf和bert_crf模型。实验中调整了最大句子长度、batch_size、学习率等超参数，并观察了验证集和测试集的表现。在标签注意力机制的实验中，发现过大的维度会导致过拟合或运行时间过长。最佳模型v2在验证集上达到0.4215的F1分数，测试集上不同事件类型的F1分数各异。实验还在继续进行以优化模型性能。

部署运行你感兴趣的模型镜像

1 数据集统计信息

2 实验记录

序号	训练数据集	验证数据集	模型名称	模型结构	最大句子长度	batch_size	学习率	最佳表现(验证集，测试集)	备注
1	train.txt	valid.txt	v1	pa_lstm_crf	100	10	1e-5	(0.3989 ，0.3790，0.3887）、0.139（不准确，模型保存废了）	优化后，已重跑gpu14
2	train.txt	valid.txt	v2	bert_crf	100	10	1e-5	0.4215、0.4271	723个epoch 测试集： label_level: {'unknown': {'F1': 0.3971, 'P': 0.497, 'R': 0.3307}, '拥有': {'F1': 0.3908, 'P': 0.5397, 'R': 0.3063}, '竞争': {'F1': 0.3523, 'P': 0.3953, 'R': 0.3178}, '成立': {'F1': 0.439, 'P': 0.375, 'R': 0.5294}, '持股': {'F1': 0.4386, 'P': 0.5051, 'R': 0.3876}, ' 自己': {'F1': 0.6128, 'P': 0.6791, 'R': 0.5583}, '分析': {'F1': 0.547, 'P': 0.64, 'R': 0.4776}, '入股': {'F1': 0.5334, 'P': 0.7273, 'R': 0.4211}, '合作': {'F1': 0.3839, 'P': 0.4479, 'R': 0.3359}, '收购': {'F1': 0.5275, 'P': 0.5714, 'R': 0.4898}, '减持': {'F1': 0.5393, 'P': 0.6316, 'R': 0.4706}, '拟收购': {'F1': 0.125, 'P': 0.1538, 'R': 0.1053}, '签约': {'F1': 0.6526, 'P': 0.7561, 'R': 0.5741}, ' 交易': {'F1': 0.3256, 'P': 0.5385, 'R': 0.2333}, '买资': {'F1': 0.1291, 'P': 0.1667, 'R': 0.1053}, '增持': {'F1': 0.338, 'P': 0.5455, 'R': 0.2449}, '发行': {'F1': 0.5, 'P': 0.5556, 'R': 0.4545}, '重组': {'F1': 0.5085, 'P': 0.75, 'R': 0.3846}, '合并': {'F1': 0.45, 'P': 0.45, 'R': 0.45}, '注资': {'F1': 0.2927, 'P': 0.4, 'R': 0.2308}, '欠款': {'F1': 0.3077, 'P': 1.0, 'R': 0.1818}, '转让': {'F1': 0.0, 'P': 0.0, 'R': 0.0}, '帮助': {'F1': 0.1765, 'P': 0.375, 'R': 0.1154}, '订单': {'F1': 0.25, 'P': 0.3846, 'R': 0.1852}, '商讨': {'F1': 0.1667, 'P': 0.2, 'R': 0.1429}, '纠纷': {'F1': 0.4118, 'P': 0.4118, 'R': 0.4118}, '合资': {'F1': 0.25, 'P': 0.4, 'R': 0.1818}, '借壳': {'F1': 0.4, 'P': 0.6667, 'R': 0.2857}}
3				lan					已杀死（标签嵌入维度过大，见序号5）
4				bert_lan_crf				0.4032	gpu14 重新启动，维度为28
5				lan				0.3627	1921个epoch，时间过长，已被杀死，对标序号3 。维度28（不准确，模型保存废了）

命令行：

序号：1 gpu14

CUDA_VISIBLE_DEVICES=0 nohup python -u re_extract.py -tr ../data/re/FinRE/train.txt -de ../data/re/FinRE/valid.txt -mfp ../data/re/FinRE/v1 -mn v1 -lhs 200 -bs 10 -mp /gpfs/share/home/1801220008/python37/trans_ext_ner_and_re/data/pretrained_model/chinese_L-12_H-768_A-12 -lr 1e-5 -sml 100 -e 20000 > ../data/re/FinRE/v1/v1.log 2>&0 1 &

预测：

CUDA_VISIBLE_DEVICES=0 python -u re_extract.py -te ../data/re/FinRE/test.txt -mfp ../data/re/FinRE/v1 -mn v1

序号：2 gpu10

CUDA_VISIBLE_DEVICES=1 nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -ep ../trans_data/re/FinRE/v1/v1.embedding.pk -sml 100 -bs 12 -me 20000 -uc True -sp ../trans_data/re/FinRE/v1 -mn v1 -ws True -pg 1 > ../trans_data/re/FinRE/v1/v1.log 2>&1 &

预测：

python test_main_model.py -te=../trans_data/re/FinRE/test.txt -tt=re -bs 10 -uc True -sml=100 -mn=v1 -rf=../trans_data/re/FinRE/v1/test_result -ep=../trans_data/re/FinRE/v1/v1.embedding.pk

序号：3 gpu10

nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/v2/v2.embedding.pk -sml 100 -bs 12 -me 20000 -uc True -sp ../trans_data/re/FinRE/v2 -mn v2 -ws True -pg 1 > ../trans_data/re/FinRE/v2/v2.log 2>&1 &

序号：4 gpu10

CUDA_VISIBLE_DEVICES=2 nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -ep ../trans_data/re/FinRE/v3/v3.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/v3 -mn v3 -ws True -pg 1 > ../trans_data/re/FinRE/v3/v3.log 2>&1 &

预测：

CUDA_VISIBLE_DEVICES=2 python test_main_model.py -te=../trans_data/re/FinRE/test.txt -tt=re -d lan -sml 100 -bs 10 -uc True -sml=100 -mn=v3 -rf=../trans_data/re/FinRE/v3/test_result -ep=../trans_data/re/FinRE/v3/v3.embedding.pk

序号：5 gpu10 标签注意力的维度为标签个数。

nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/v4/v4.embedding.pk -sml 100 -bs 12 -me 20000 -uc True -sp ../trans_data/re/FinRE/v4 -mn v4 -ws True -pg 1 > ../trans_data/re/FinRE/v4/v4.log 2>&1 &

预测：

python test_main_model.py -te=../trans_data/re/FinRE/test.txt -tt=re -d lan -sml 100 -bs 10 -uc True -sml=100 -mn=v4 -rf=../trans_data/re/FinRE/v4/test_result -ep=../trans_data/re/FinRE/v4/v4.embedding.pk

1.3 预测代码

python test_main_model.py -te=../trans_data/ner/out_domain/MSRA_cluener_peo_3000_dev_select_20_to_test.txt -tt=ner -e=bert -sml=330 -mn=v1 -rf=../trans_data/ner/out_domain/MSRA_cluener_peo_3000_dev_select_20_to_test_result -ep=../trans_data/ner/out_domain/v1.pk -sc=False

python test_main_model.py -te=../trans_data/ner/out_domain/MSRA_cluener_peo_3000_dev.txt -tt=ner -e=bert -sml=330 -mn=v1 -rf=../trans_data/ner/out_domain/MSRA_cluener_peo_3000_dev_result -ep=../trans_data/ner/out_domain/v1.pk -sc=True

2.2 h超参数对模型性能的影响实验:lan 修改num_logits_output参数，，，（模型保存废了）

模型名称	h超参设置	最大句子长度	batch_size	学习率	验证集	备注
v1	2	100	10	1e-5	0	nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/2/v2.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/2 -mn v2 -ws True -pg 1 > ../trans_data/re/FinRE/lan/2/2.log 2>&1 & 已杀死、过拟合
v2	3	100	10	1e-5	0	nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/3/v3.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/3 -mn v3 -ws True -pg 1 > ../trans_data/re/FinRE/lan/3/3.log 2>&1 & 已杀死、过拟合
v4	4				0.039	CUDA_VISIBLE_DEVICES=1 nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/4/v4.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/4 -mn v4 -ws True -pg 1 > ../trans_data/re/FinRE/lan/4/4.log 2>&1 & 已杀死、过拟合
v5	5				0.0043	nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/5/v5.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/5 -mn v5 -ws True -pg 1 > ../trans_data/re/FinRE/lan/5/5.log 2>&1 & 已启动
v7	7					nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/7/v7.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/7 -mn v7 -ws True -pg 1 > ../trans_data/re/FinRE/lan/7/7.log 2>&1 & gpu01已启动
v13	13					nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/13/v13.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/13 -mn v13 -ws True -pg 1 > ../trans_data/re/FinRE/lan/13/13.log 2>&1 & gpu01已启动
v14	14					nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/14/v14.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/14 -mn v14 -ws True -pg 1 > ../trans_data/re/FinRE/lan/14/14.log 2>&1 & gpu01已启动
v28	28				0.3375	nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/28/v28.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/28 -mn v28 -ws True -pg 1 > ../trans_data/re/FinRE/lan/28/28.log 2>&1 & 已启动
v128	128				0.247	nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/128/v128.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/128 -mn v128 -ws True -pg 1 > ../trans_data/re/FinRE/lan/128/128.log 2>&1 & 已启动
v448	448				0.1837	nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/448/v448.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/448 -mn v448 -ws True -pg 1 > ../trans_data/re/FinRE/lan/448/448.log 2>&1 & 已启动
v768	768				0.0045	nohup python -u train_model.py -tr ../trans_data/re/FinRE/train.txt -de ../trans_data/re/FinRE/valid.txt -tt re -d lan -l lan_loss -ep ../trans_data/re/FinRE/lan/768/v768.embedding.pk -sml 100 -bs 10 -me 20000 -uc True -sp ../trans_data/re/FinRE/lan/768 -mn v768 -ws True -pg 1 > ../trans_data/re/FinRE/lan/768/768.log 2>&1 & 已启动