<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[d541941799的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/d541941799</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; d541941799]]></copyright><item><title><![CDATA[交叉熵下的模型评估，auc还是loss？]]></title><link>https://blog.youkuaiyun.com/d541941799/article/details/124909200</link><guid>https://blog.youkuaiyun.com/d541941799/article/details/124909200</guid><author>d541941799</author><pubDate>Wed, 16 Nov 2022 10:27:22 +0800</pubDate><description><![CDATA[交叉熵下的模型评估，auc还是loss？]]></description><category></category></item><item><title><![CDATA[dnn模型参数调优经验]]></title><link>https://blog.youkuaiyun.com/d541941799/article/details/106079888</link><guid>https://blog.youkuaiyun.com/d541941799/article/details/106079888</guid><author>d541941799</author><pubDate>Tue, 12 May 2020 16:56:06 +0800</pubDate><description><![CDATA[learning rate调优

1）在数据集较小的情况下，nn的learning rate大于embed的learning rate模型的效果会更好，这主要是因为数据集小，模型无法收敛。而nn能更快的拟合数据集，导致效果会好一些；

2）在数据充分的情况下，nn的learning rate小于embed的learning rate模型的效果会更好，在稀疏的工业场景下，embed的更新频率一般要低于nn，将embed的learning rate设置大一些会有更好的效果。同时这也是尽量让模型用embeding]]></description><category></category></item><item><title><![CDATA[深度学习之蒸馏模型]]></title><link>https://blog.youkuaiyun.com/d541941799/article/details/104411362</link><guid>https://blog.youkuaiyun.com/d541941799/article/details/104411362</guid><author>d541941799</author><pubDate>Thu, 20 Feb 2020 15:43:23 +0800</pubDate><description><![CDATA[蒸馏模型

蒸馏模型的目的是为了将大模型/复杂模型学习到的东西传递给小模型。大模型将学习到的东西浓缩在输出值之中，输出值是一个0~1的概率值，我们称之为soft-target。可以通过设置温度T来调节输出值的分布，T越大得到的soft-target越软（均匀）。很显然假设复杂模型输出的solf target是100%准确的话，以0～1的soft target代替原样本中的[0, 1]这种hard ...]]></description><category></category></item><item><title><![CDATA[推荐领域常见的dnn模型框架结构]]></title><link>https://blog.youkuaiyun.com/d541941799/article/details/104403230</link><guid>https://blog.youkuaiyun.com/d541941799/article/details/104403230</guid><author>d541941799</author><pubDate>Thu, 20 Feb 2020 14:35:26 +0800</pubDate><description><![CDATA[din

din中文名深度兴趣网络，由阿里提出并使用到工业上。din主要解决的问题是multi-hot特征的处理方式。传统的multi-hot特征的处理方式大多都是对多个id embedding求均值作为该multi-hot特征最终对输入。din的思想是根据待预估的对象对multi-hot特征的id embedding进行加权计算均值。以我们在广告上的尝试作为例子对din的网络结构进行介绍。首先我...]]></description><category></category></item><item><title><![CDATA[多目标学习之esmm]]></title><link>https://blog.youkuaiyun.com/d541941799/article/details/104402579</link><guid>https://blog.youkuaiyun.com/d541941799/article/details/104402579</guid><author>d541941799</author><pubDate>Wed, 19 Feb 2020 23:25:53 +0800</pubDate><description><![CDATA[ctr/cvr联合训练是多目标学习的重要应用，在我们的广告推荐中被证实有效；

背景：

cvr模型训练的数据较少（ctr/cvr），却需要对整个大盘数据进行预估，这个不科学，因此希望能够利用到整个大盘对数据，比如show/ctr对数据；

ctr/cvr联合训练将ctr的数据（show/ctr）也合并到cvr训练数据中，训练数据label由原来的二维表示是否转化调整成二维表示是否点击（第一维）和...]]></description><category></category></item><item><title><![CDATA[特征工程总结]]></title><link>https://blog.youkuaiyun.com/d541941799/article/details/80982365</link><guid>https://blog.youkuaiyun.com/d541941799/article/details/80982365</guid><author>d541941799</author><pubDate>Tue, 10 Jul 2018 10:50:21 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[机器学习常见基础概念一]]></title><link>https://blog.youkuaiyun.com/d541941799/article/details/80893500</link><guid>https://blog.youkuaiyun.com/d541941799/article/details/80893500</guid><author>d541941799</author><pubDate>Tue, 03 Jul 2018 09:25:18 +0800</pubDate><description><![CDATA[1   信息增益比决策树中信息增益比大的特征优先选择2  基尼系数基决策树中基尼系数小的特征优先选择，和信息增益比刚好相反。尼系数代表了模型的不纯度，基尼系数越小，则不纯度越低，特征越好3  剪枝中的正则化参数α一般来说，α越大，则剪枝剪的越厉害，生成的最优子树相比原生决策树就越偏小。4  鲁棒性鲁棒性/抗变换性（英文：robustness）原是统计学中的一个专门术语，20世纪70年代初开始在控制...]]></description><category></category></item><item><title><![CDATA[Greenplum优化]]></title><link>https://blog.youkuaiyun.com/d541941799/article/details/80893249</link><guid>https://blog.youkuaiyun.com/d541941799/article/details/80893249</guid><author>d541941799</author><pubDate>Tue, 03 Jul 2018 09:11:42 +0800</pubDate><description><![CDATA[尽量选择连接条件作为Distribution Key，如有个SQL：insert into tablec (auction_id,….) select * from tablea left join talbeb on tablea.selid=tablec.id;优化前耗时120秒，优化方式：将tablea的Distribution Key 改为selid，tableb的改为id，tablec的...]]></description><category></category></item></channel></rss>