3、深入了解Transformer：从基础到架构

深入了解Transformer：从基础到架构

1. 共指消解与Transformer模型应用

共指消解任务旨在找出一个词所指代的实体。例如在特定句子中，“it”可能指代网站或Transformer模型，像BERT类模型会将“it”与Transformer模型关联起来。AllenNLP能提供格式化输出，可在 https://demo.allennlp.org/coreference-resolution 运行相关示例，但由于Transformer模型不断更新，结果可能不同。

API虽能满足很多需求，但也有局限性。通用API在所有任务中表现尚可，但针对特定NLP任务可能不够好。比如使用Transformer进行翻译并非易事，开发者、顾问或项目经理需证明仅靠API无法解决特定NLP任务，这时就需要寻找可靠的库。

2. 选择即用型API驱动库

有不少可用的库，例如Google Trax，它可以在Google Colab中用几行代码安装，有免费和付费服务。我们能获取其源代码，调整模型，甚至在自己的服务器或Google Cloud上训练。虽然从即用型API过渡到定制Transformer模型进行翻译任务有一定难度，但在某些情况下既具教育意义又有效。

Google Translate是使用Transformer等算法的著名在线应用，可在线使用或通过API调用。在进行英语到法语翻译且涉及共指消解时，Google Translate看似解决了共指消解问题，但“transformateur”在法语中