Real_Brilliant的博客

对比学习已经成为无监督表示学习的一大范式，不研究表明，模型效果与BatchSize成正相关，大厂在训练模型时也动辄将BatchSize提到万级别（ALIGN的16384、CLIP的32768）。如何在资源有限情况下提高BatchSize，已经成为平民炼丹师的关注重点。......

（1）INFO: Sutskever2014_Sequence to Sequence Learning with Neural Networks（2）ABSTRACTUse one LSTM to read the input sequence, one timestep at a time, to obtain large fixed-dimensional vector repre...

BERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingAbstractContentsSimulation resultsRelevant information新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一...

Artetxe2018CoNLL_Uncovering divergent linguistic information in word embeddings with lessons for intrinsic and extrinsic evaluation

Text CNN

Oracle定义：衡量现有 typetypetype 系统 AAA 的实体消歧效果流程：给定mention mim_imi​，实体 eiGTe_i^{GT}eiGT​，候选集ϵmi\epsilon_{m_i}ϵmi​​。（假设每个 mim_imi​ 都已经被正确预测到相应 typetypetype 下）根据 eiGTe_i^{GT}eiGT​ 所对应的 typetypetype ，...

Sergey2018EMNLP_Understanding Back-Translation at Scale摘要：采样/加噪的合成数据，比greedy/beam方法生成的数据训练效果更好研究了合成数据较之真正双语数据效果如何研究了各种domain effectsIntro：关于如何使用单语语料优化模型，已经有了大量的研究：语言模型融合、回溯、对偶学习回溯中，target是自然...