weixin_43917778的博客

文章均从个人微信公众号“AI牛逼顿”转载，文末扫码，欢迎关注！自然语言处理目前最火的大杀器要属Google给出的BERT模型了。在慢慢琢磨了原理并使用之后，体会到各种模型的发展都是围绕着解决一个基本问题：词语或者句子的表达。只有把这个基本问题的下限不断提高，才能提升各种自然语言处理任务的上限。我发现捋顺词向量的演变，能帮助我更好的理解一些模型的细节。这里只是记录一些自己的通俗理解，涉及到...

文章均从个人微信公众号“AI牛逼顿”转载，文末扫码，欢迎关注！上篇文章的结尾指出了one-hot向量有重大缺陷，缺陷是啥？此种编码使得任意两个向量的乘积都为0也就是说，虽然可以算距离，但是距离都一样，还是没法体现出词的相似性。比如：“爸”与“爹”，是同义词；“大”与“小”是反义词。按照上面的编码方式，词的相似性没法加以区分。如何解决这个问题？如果我们给定几个评判标准，...

文章均从个人微信公众号“AI牛逼顿”转载，文末扫码，欢迎关注！word embedding的出现提升了自然语言处理的效果。典型的使用场景就是把高质量的词向量输入到的模型中，通过后续的一系列计算，去完成相应的任务。比如文本分类，文本匹配等等。说到高质量的词向量，这里要给出一个名词：预训练。土豪公司利用大量数据、构造复杂深层的网络结构能够训练出高质量的词向量，然后把结果开放，可以直接拿来用。...

文章均从个人微信公众号“AI牛逼顿”转载，文末扫码，欢迎关注！八月份的尾巴，是“秋老虎”~~眼瞅着就要夺取抗“日”的伟大胜利了，这才擦了擦汗，更新一篇关于试题相似性分析的原创帖。这里先感谢同事Miss杨提供的标注数据，否则也是巧妇难为无米之炊呀。https://blog.youkuaiyun.com/weixin_43917778/article/details/100140848...