蒋志碧的博客

优快云 排版有问题，请转到 简书查看。https://www.jianshu.com/p/efa6ea0a1d0a

在计算广告和推荐系统中，CTR 预估是非常重要的一个环节，判断物品是否进行推荐，需要根据 CTR 预估的点击率排序决定。业界常用的方法有人工特征 + LR，GBDT + LR，FM 和 FFM 等模型。近几年提出了很多基于 FM 改进的方法，如 DeepFM，FNN，PNN，DCN，xDeepFM 等，今天给大家分享 FM。Factorization Machine (FM) 是由 Steff...

经常听身边的一些朋友感叹 “抖音有毒”，一刷就是几个小时，可想而知它的用户黏性有多强。抖音的算法极具魅力，这个魅力在于，抖音的流量分配是去中心化的。在公众号上，如果你的粉丝寥寥无几，那你发的内容就不会看。但是抖音就不一样，所有抖音用户，你拍的任何一个视频，无论质量好坏，发布之后一定有播放量，它的算法可以让每一个有能力产出优质内容的人，都能得到跟 “大V” 公平竞争的机会，实现了人人都能当明星...

引言推荐系统中有两个经典问题：EE 问题和冷启动问题。什么是 EE 问题？又叫 exploit－explore 问题。exploit 就是：对用户比较确定的兴趣，当然要利用开采迎合，好比说已经挣到的钱，当然要花；explore 就是：光对着用户已知的兴趣使用，用户很快会腻，所以要不断探索用户新的兴趣才行，这就好比虽然有一点钱可以花了，但是还得继续搬砖挣钱，不然花完了就得喝西北风。用户冷启动问...

一、为什么需要 Mask？在此，先思考一个问题，为什么需要 mask？在 NLP 中，一个最常见的问题便是输入序列长度不等，通常需要进行 PAD 操作，通常在较短的序列后面填充 0，虽然 RNN 等模型可以处理不定长输入，但在实践中，需要对 input 做 batchsize，转换成固定的 tensor。PAD 案例：如下是两句英文，先将文本转换成数字s1 = 'He likes ca...

一、初学者容易踩的 5 个深坑1 心态易受学习状态的影响初学者容易踩的第一个深坑就是心态不好。有的人过于自信，多自己的学习能力深信不疑。但是当遇到非常困难的算法或者推理，容易受到打击，甚至气馁，长此以往，不断怀疑自己，容易产生消极情绪，甚至放弃。有的人过于消极，觉得算法太难学了，刚开始学习时觉得就像天书一样，自乱阵脚，整天都在怀疑当中，影响心情，也影响学习进度。以上这两种心态都应该尽量避...

Attention 机制由 Bengio 团队于 2014 年提出，并广泛应用在深度学习的各个领域。而 Google 提出的用于生成词向量的 Bert 在 NLP 的 11 项任务中取得了效果的大幅提升，Bert 正是基于双向 Transformer。Transformer 是第一个完全依赖于 Self-Attention 来计算其输入和输出表示的模型，而不使用序列对齐的 RNN 或 CNN。更...

在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特...

人工智能的发展非常迅速，翻译的准确性越来越高，以至于有人担心译员是否会失业，甚至有的家长担心孩子学习外语专业将来找不到工作。哎呀，扯远了，本人认为：机器翻译可以便于人们更好的获得国外的信息，提高专业译员的翻译速度，但是更深层次的思考，仍然还要依赖人工翻译。机器翻译目前只在通用领域 (商业领域，口语领域等) 的短句上效果不错，复杂结构的长句，需要结合知识尝试和上下文判断歧义句，特定领域的翻译上，一...

论文解读：Bert原理深入浅出Bert 自 Google 于 2018 年发表至今，一直给人们带来惊喜，期间也陆陆续续因为Bert出现的原因多了不少新的岗位，甚至公司 JD 上都明确表明必须懂 Bert。它在 11 项自然语言处理任务中均表现出惊人的成绩：包括将 GLUE 基准推至 80.4％（绝对改进率7.6％），MultiNLI 精度达到 86.7％（绝对改进 5.6％）和 SQuAD v...