han_liwei的博客

原创 MDP建模方法

猜你喜欢”是美团流量最大的推荐展位，位于首页最下方，产品形态为信息流，承担了帮助用户完成意图转化、发现兴趣、并向美团点评各个业务方导流的责任。经过多年迭代，目前“猜你喜欢”基线策略的排序模型是业界领先的流式更新的Wide&Deep模型[1]。考虑Point-Wise模型缺少对候选集Item之间的相关性刻画，产品体验中也存在对用户意图捕捉不充分的问题，从模型、特征入手，更深入地理解时间，仍有推荐体验和效果的提升空间。

原创 《PIER: Permutation-Level Interest-Based End-to-End Re-ranking Framework in E-commerce》

以上两个方案在效果上均有损，因此如何在重排阶段同时考虑上下文，并且降低复杂度兼顾可落地性，是一个非常重要的问题。针对以上问题，论文提出了一个名为PIER的端到端重新排序框架，该框架遵循两阶段范式并包含两个主要模块，分别称为FPSM 和OCPM。离线实验结果表明，PIER在公开和工业数据集上均优于基线模型，目前已经部署到美团外卖广告场景，取得了较为显著的成果。目前工业届更多考虑重排方案，然而由于排列的多样性，穷举会导致排列个数过多，实际很难落地。论文看的部分后面再更新。

原创 替代bp算法的神经网络优化-小练习

接收 pso_data 优化参数# 图片尺寸：1*28*28# 调用初始化 PSO 参数return x2.指定初始化参数# 初始化函数3.粒子群优化算法# transforms.ToTensor()---shape从(H,W,C)->(C,H,W), 每个像素点从(0-255)映射到(0-1):直接除以255# transforms.Normalize()---先将输入归一化到(0,1),像素点通过"(x-mean)/std",将每个元素分布到(-1,1)])# 1.准备数据集。

原创 MDP（MarkovDecisionProcess,马尔卡夫决策树）代码实现

【代码】MDP（MarkovDecisionProcess,马尔卡夫决策树）代码实现。

原创 MDP（MarkovDecisionProcess,马尔卡夫决策树）实现总结2

原创 MDP（MarkovDecisionProcess,马尔卡夫决策树）实现总结

这个版本的策略迭代方法与值函数迭代方法关键的不同之处是在值迭代的时候，策略迭代方法是根据已有的固定策略进行值迭代的，而值函数迭代方法中的值迭代是局部最优策略的迭代。以上五个单元的关系简单来说就是：在状态集S中根据Psa(s')和R寻找一个行为集合（策略），使该行为的获利最大，用G控制未来获利与当前获利之前的比重关系。G：是一个大于0小于1的常数系数，越接近1表示该策略行为越看重未来的获利，越接近于0表示该策略越看重当前行为的获利。状态1为目标状态，状态2为避免状态，状态3为不存在状态。

原创 生存模型分析

根据时刻t及其之前各个时间点上的条件生存率的乘积，来估计时刻t的生存函数S(t)和它的标准误SE(S(t))。生存分析研究的我们感兴趣的事件发生的时间的分布情况。这里面的“生存”不一定指存活，因为生存分析在医学随访数据中用的很多，而这类数据的随访终点往往就是病人死亡，所以才叫做生存。生存分析刻画的是生存时间的分布情况，这里的分布指的是概率分布，如何形象刻画生存时间的分布情况呢？事件是指研究者所关心的事件发生了，事件发生的时间点，也就是生存时间的记录终点。生存函数就是这个病人活下来的概率和时间的关系。

原创 终点不确定条件下网约车合乘匹配模型及算法（读文章）

本文基于不指定网约车运营的起终点，尽可 能让网约车搭载更多的乘客，每当有乘客下车时， 都产生新的乘客聚类匹配方案的基本思路，提出 了单车辆合乘匹配数学模型。在一定区域内有一运营网约车，区域内有 n 个乘客组成集合 P，每位乘客有一对起讫点，2n 个 合乘需求点组成集合 S，每位乘客均有上下车时 间窗，要求运营网约车在其上下车时间窗范围内 选择乘客搭载至网约车结束运营，将车辆的行驶 总里程最短以及乘客周转量最大作为目标。(6)忽略乘客上下车时间。(2)当有乘客下车，车上有剩余容量时，允许 搭载新的乘客。

原创 hivesql小技巧汇总

场景：如果要看性别、城市、等级的各种组合的用户分布，这个时候如果用grouping sets括号内就要写很长，比如 GROUPING SETS ( sex ,city ,level, ( sex,city ) ,( sex ,level) , ( city , level ) , ( sex,city , level ) ) ，这个时候就可以使用cube。场景：字段之间有强关联，比如时间，年的下面有细分的月，月下面有细分的天，比如要算每个月的支付金额以及每年的总支付金额，此时就可以用rollup。

原创 DIEN模型的关键两层的构造

为了更好地表达用户的兴趣，作者还为兴趣抽取层引入了一个有监督学习：输入是按照时间步排列的商品。这里辅助loss有几个好处，当GRU处理较长序列的时候有助于降低反向传播的难度，对于商品。函数，将CTR的loss和辅助loss相加定义为整个网络的loss进行优化。机制融入到了捕获兴趣演变的过程中，一定程度上弥补了 AIGRU 的不足。，并对存在于这些兴趣之间的依赖建模，捕捉兴趣的演变过程。开始，从上面的公式中可以看出，AIGRU。更新的是一个包含多个维度的向量，，得到预测结果，并引入一个辅助的。

原创 DIEN模型感想

如果这个转移概率在全局统计意义上式足够高的，那么用户在购买篮球鞋时，推荐机械键盘也会成为一个不错的选项。基于引进“序列”信息的动机，阿里巴巴对DIN模型进行了改进，形成了DIEN模型的结构。DIEN关注电商场景中兴趣演化的过程，并提出了新的网络结构来建模兴趣进化的过程，这个模型能够更精确的表达用户兴趣，同时带来更高的CTR预估准确率。在上面的例子中，用户近期购买机械键盘的概率会明显高于再买一双篮球鞋或者其他商品的概率。”，可以认为它是用来从用户的历史行为数据中提取兴趣的网络，它最终的输出是。

原创 读推荐召回相关《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》

第一步是基于用户历史行为构图，考虑到性能开销，不可能根据用户整个的历史行为构图，其次考虑到用户的兴趣有随着时间迁移的情况，因此在基于用户历史行为构图时，设定了一个时间窗口，只考虑时间窗口内的用户历史行为（session-based users' behaviors）。获取指定时间窗口内的用户历史行为后，例如用户U1的历史行为序列为DAB，对应图中的两条有向边D->A和A->B，如图中的(a)、(b)所示。

原创 HiNet: Novel Multi-Scenario & Multi-Task Learning with Hierarchical Information Extraction

如上所述，我们主要关注的是多场景多任务推荐的优化问题。我们将该问题定义为：ŷ ji=fji(x,si)，其中si表示第i个场景指示，ŷ ji是第i个场景下任务j的预估值，x表示输入的稠密特征。原始的特征输入中主要包括了用户画像特征、用户行为特征、当前场景特有特征和商品特征，其中的数值特征首先被转化为分类特征，然后将所有分类特征映射到低维向量空间来获得x。考虑到美团到餐平台中具体的优化目标，我们分别为每个场景设置了CTR和CTCVR两个任务。本小节将展开介绍层次化信息抽取网络模型HiNet。

原创 多目标-PLE显式细化expert表征

多目标模型学习的难点是task之间的复杂关联，存在拉扯和跷跷板现象。基于此，MMoE提出了expert的结构设计，通过gate自适应地学习不同task之间的共性和特性，为业界多目标建模提供了一种模型结构的设计方向。由于MMoE结构中各个expert地位相当，对应不同的子空间，因此各个task对所有task共性和特性的学习，主要依赖gate网络，而gate的学习采用自适应的机制，对共性和特性的提取容易存在“惰性”。

原创 双塔召回模型的前世今生

因为在双塔结构下，无论对于userA还是userB而言，面对的item embedding都不会有区别，所以可以离线对所有的物料提前过item tower得到item embedding，当userA来时，只需要计算userA embedding即可，由此双塔的第一个好处便浮出水面：无需每次请求重复计算，节省了一大批算力资源。让我们重新回顾一下问题。自此，归一化解释清楚：双塔召回需要ANN，点积不保序一般使用欧式距离，双塔最上层归一化能将输入映射到欧式空间，保证了训练检索的一致性，提高了效果。

原创 Batchnorm原理详解

Batchnorm原理详解

原创 plug-中文大模型

阿里中文大模型

原创 PALM-一种生成式模型

我们对比了模型在预训练过程中的这几个任务的 Accuracy，从 Accuracy 指标的结果可以看出，这几个任务确实是从易到难的。motivation 是看到 EMNLP 上有一篇 paper ，把 BERT encoder 直接拿过来，再加一个随机 decoder，fine-tune 训练摘要任务，都得可以得到很好的效果，这说明了 encoder 的重要性。encoder 任务我们采用的是 maskLM，类似于 BERT 的，经过验证有效的方式去做 mask，直接在 encoder 去做预测。

原创 生成模型学习-文本生成相关

随着chatgpt的火爆，本文跟随前辈步伐在文本生成方面作初步的介绍，供大家了解。

原创 图的类型理解

图的不同类型

原创 强化学习-DQN

强化学习

转载 最优停止理论-有限层确定问题和dp算法

dp算法

原创 最优停止理论OptimalStoppingTheory经典秘书问题ClassicSecretaryProblem

最有停止理论

原创 DMR-解读

dmr

原创 基于动态路由的用户多兴趣网络

基于动态路由的用户多兴趣网络

原创 ESMM多任务学习解读

多任务学习算法解读

翻译 图技术学习-来自美团技术研究

图技术的简单介绍

原创 以我视角深入理解FTRL模型原理

以我视角看FTRL

原创 LR多分类与softmax分类

LR多分类与softmax分类