rotation博客

MMOE多任务模型总结

fengxinlinux — Wed, 20 Oct 2021 17:04:17 +0800

MMOE多任务模型 18年KDD google 原文链接：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文中提出了一个Multi-gate Mixture-of-Experts(MMoE)的多任务学习结构，学习任务之间的关系与特定任务功能，自动分配参数捕获共享任务信息或特定任务信息，避免了明显增加参数的缺点。 MMOE这篇论文，更像是一个多任务的一个框架，提供了一个简单又具有一定可

ESMM模型与ESM2模型总结

fengxinlinux — Wed, 20 Oct 2021 17:02:14 +0800

ESSM模型 2018 阿里妈妈 SIGIR 原文链接：Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate 该论文基于Multi-Task Learning 的思路，提出一种新的CVR预估模型，有效解决了真实场景中CVR预估面临的数据稀疏以及样本选择偏差这两个关键问题。 Sample Selection Bias (SSB)：转化是在点击之后才“有可能”发生的动作，传统

DIN模型与DIEN模型总结

fengxinlinux — Wed, 20 Oct 2021 16:58:57 +0800

DIN模型（Deep Interest Network） DIN模型是阿里妈妈团队提出的CTR预估模型，虽然是几年前提出的，但是现在应用仍比较广泛。原论文地址：Deep Interest Network for Click-Through Rate Prediction 对论文的核心总结：利用用户历史行为序列信息，使用类似Attetion的机制动态构建用户兴趣embeeding，使得模型能够捕获用户的兴趣。该论文的主要贡献：提出DIN模型，利用用户兴趣信息进行建模。提出mini-batch awa

论文阅读Heterogeneous Graph Attention Network

fengxinlinux — Thu, 12 Nov 2020 16:21:10 +0800

论文信息题目 Heterogeneous Graph Attention Network 基于注意力机制的异构图神经网络作者 Xiao Wang, Houye Ji，Chuan Shi等论文水平 WWW 2019 其他论文下载地址：https://arxiv.org/pdf/1903.07293.pdf github:https://github.com/Jhy1993/HAN ...

论文阅读RoBERTa: A Robustly Optimized BERT Pretraining Approach

fengxinlinux — Mon, 02 Nov 2020 16:11:40 +0800

论文信息题目 RoBERTa: A Robustly Optimized BERT Pretraining Approach 一个强力优化的BERT预训练方法作者 Yinhan Liu，Myle Ott，Naman Goyal， Jingfei Du等其他论文下载地址：https://arxiv.org/abs/1907.11692?context=cs.CL Abstract 这篇论文更像是一篇丰富的实验报告，作者发现BERT严重训练不足，若加大训练后，BERT性能会有很大的提升。因此，作者从

论文阅读Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

fengxinlinux — Wed, 21 Oct 2020 15:54:10 +0800

论文信息题目 Sentence Embeddings using Siamese BERT-Networks 使用孪生BERT网络结构的句子嵌入作者 Nils Reimers, Iryna Gurevych 论文水平 EMNLP 2019 其它论文下载地址：https://arxiv.org/abs/1908.10084 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-tansformers文档：官方文档 sentenc-tansformers非常

论文阅读-Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation

fengxinlinux — Sat, 10 Oct 2020 21:16:07 +0800

论文信息题目 Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation 通过知识蒸馏使单语种句子嵌入多语种化作者 Nils Reimers, Iryna Gurevych 论文水平已被EMNLP 2020 接收其它论文下载地址：https://arxiv.org/abs/2004.09813 该论文的相关代码已开源，github链接：sentence-transformers，sentenc-t

最大似然估计与最大后验估计总结

fengxinlinux — Sat, 30 May 2020 12:03:54 +0800

TLDR (or the take away) 频率学派 - Frequentist - Maximum Likelihood Estimation (MLE，最大似然估计) 贝叶斯学派 - Bayesian - Maximum A Posteriori (MAP，最大后验估计) 两大学派的争论抽象一点来讲，频率学派和贝叶斯学派对世界的认知有本质不同：频率学派认为世界是确定的，有一个本体，这个本体的真值是不变的，我们的目标就是要找到这个真值或真值所在的范围；而贝叶斯学派认为世界是不确定的，人们对世界先

ES6 Promise用法总结

fengxinlinux — Mon, 30 Sep 2019 12:56:44 +0800

1.什么是Promise Promise 是异步编程的一种解决方案，其实是一个构造函数，自己身上有all、reject、resolve这几个方法，原型上有then、catch等方法。 Promise对象有以下两个特点。（1）对象的状态不受外界影响。Promise对象代表一个异步操作，有三种状态：pending（进行中）、fulfilled（已成功）和rejected（已失败）。只有异步操作的结...

机器学习-朴素贝叶斯

fengxinlinux — Wed, 25 Sep 2019 10:07:14 +0800

朴素贝叶斯介绍朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。之所以叫朴素，是因为朴素贝叶斯法对条件概率分布作了条件独立性的假设。朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)，然后求得后验概率分布P(X|Y)。具体来说，利用训练数据学习P(X|Y)和P(Y)的估计，得到联合概率分布： P(X,Y)=P(X)P(X|Y) 概率估计方法可以是极大极...

统计学习方法——K近邻模型

fengxinlinux — Sun, 22 Sep 2019 18:20:02 +0800

0. 写在前面在这一讲的讨论班中，我们将要讨论一下K近邻模型。可能有人会说，K近邻模型有什么好写的，那分明就是一个最简单的机器学习模型，哦，不，连机器学习也算不上的算法吧。但是这里，我想提醒的是，我们要讨论的，不仅仅是简单的K近邻模型，而是和它相关的一些有困惑的话题。 1. K近邻定义 k近邻算法，也成为KNN算法，是一种基本分类与回归算法。它在基本实现上，使用的是多数表决的惰性学习过程。也就是...

机器学习-感知机

fengxinlinux — Wed, 18 Sep 2019 20:51:27 +0800

感知机是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。感知机是二分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。感知机对应于输入空间中将实例划分为正负两类的分离超平面，属于判别类型。假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面。如果是非线性可分的数据，则最后无法获得超平面。...

SPA（单页面应用）和MPA（多页面应用）

fengxinlinux — Mon, 19 Aug 2019 19:27:45 +0800

单页面应用第一次进入页面时会请求一个html文件，刷新清除一下，切换到其他组件，此时路径也相应变化，但是并没有新的html文件请求，页面内容却变化了。原理： js会感知到url的变化，通过这一点可以用js动态地将当前页面的内容清除，然后将下一个页面的内容挂载到当前页面上。这个时候的路由不再是后端来做了，而是前端来做，判断页面显示...

前后端分离架构概述

fengxinlinux — Mon, 19 Aug 2019 19:23:06 +0800

今天在博客中，看到了一篇写的非常好的博客，解决了我最近学习的一些疑惑。原文地址：https://blog.youkuaiyun.com/fuzhongmin05/article/details/81591072 背景前后端分离已成为互联网项目开发的业界标准使用方式，通过nginx+tomcat的方式（也可以中间加一个nodejs）有效的进行解耦，并且前后端分离会为以后的大型分布式架构、弹性计算架构、微服...

Spring事务控制总结

fengxinlinux — Sun, 18 Aug 2019 15:58:06 +0800

Spring框架为我们提供了一组事务控制的API，本文在此总结下如何通过XML方式和注解方式，进行配置事务控制。 Spring 中事务控制的 API 介绍 PlatformTransactionManager 此接口是 spring 的事务管理器，它里面提供了我们常用的操作事务的方法，如下图: 我们在开发中都是使用它的实现类，如下图: TransactionDefinition 它是事务的定...

通俗易懂地总结JavaScript 闭包

fengxinlinux — Fri, 16 Aug 2019 15:13:14 +0800

闭包demo 我们先看一个闭包的简单demo，对于我们来说，看代码比自然语言更能理解一个事物的本质。其实，闭包无处不在，比如：jQuery、zepto的核心代码都包含在一个大的闭包中，所以下面我先写一个最简单最原始的闭包，以便让你在大脑里产生闭包的画面： function A(){ function B(){ console.log('Hello world!'); ...

Spring关于AOP的学习总结

fengxinlinux — Sun, 11 Aug 2019 22:08:20 +0800

AOP相关术语 JoinPoint(连接点)：所谓连接点，是指那些被拦截到的点。在Spring中，这些点指的就是方法。 Pointcut(切入点 ): 所谓切入点是指我们要对哪些 Joinpoint 进行拦截的定义。也就是实际被增强的函数，称之为切入点。 Advice(通知/增强): 所谓通知是指拦截到 Joinpoint 之后所要做的事情就是通知。通知的类型:前置通知,后置通知,异常通知,最...

Spring基于注解的IOC学习总结

fengxinlinux — Sun, 11 Aug 2019 17:04:16 +0800

基于注解的IOC使用和基于XML方式的IOC的使用功能是一模一样的，只是注解方式是另一种使用方式而已，通过使用注解，可以完成相关的声明和配置。先介绍一下XML和注解混合使用的情况，然后再改进为全注解的形式。 IOC的配置首先，在pom.xml文件中，导入Spring IOC相关的约束和依赖。例如： &...

Spring基于XML的IOC学习总结

fengxinlinux — Sat, 10 Aug 2019 22:50:50 +0800

IOC的环境配置导入依赖我们需要在我们的spring工程中pom.xml文件里加入IOC的相关依赖，依赖如下： org.springframework

Git分支总结

fengxinlinux — Thu, 08 Aug 2019 16:01:01 +0800

Git存储机制在理解Git分支的运行机制之前，要了解一下Git是如何存储数据的。当使用 git commit 新建一个提交对象前，Git 会先计算每一个子目录的校验和，然后在 Git 仓库中将这些目录保存为树（tree）对象。之后 Git 创建的提交对象，除了包含相关提交信息以外，还包含着指向这个树对象（项目根目录）的指针，如此它就可以在将来需要的时候，重现此次快照的内容了。单个提交对象在仓...