本文探讨了BERT模型的使用，特别是在关系抽取和命名实体识别（NER）中的应用。通过`build_transformer_model`函数，如果不设置`return_keras_model=True`，则返回的是bert4keras的内部模型。在NER任务中，通常会使用padding来确保序列长度一致，而在关系抽取中可能使用mask避免某些信息传递。此外，提到从BERT的中间层获取特征可能比最后一层更好，因为中间层能捕获更抽象的语义。
build_transformer_model
还有两个问题：
1.如果不返回keras的bert模型返回的是什么？
bert = build_transformer_model(
config_path=config_path,
checkpoint_path=checkpoint_path,
return_keras_model=False,
)
2.在关系抽取里特意的上了mask防止那部分信息被回传，但是ner的代码包括这篇文章都padding了。却没有上padding的原因是什么？
1.返回bert4keras自带的模型基类。这些只需要看看bert4keras的源码就知道了，没必要问。
2.不知道你说什么，请表达清楚意思
苏老师，有这么一种说法，取bert的倒数第二层的输出是比较好的，因为最后一层的输出和最后的目标太近，前面的层没有学习到抽象的语义，https://blog.youkuaiyun.com/u012526436/article/details/87697242 可以让这个模型抽取向量能到任意制定层吗
扫一扫
3131
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
