DeepCTR学习小组精华内容摘要(01.13-01.20)

AutoInt:使用Multi-head Self-Attention进行自动特征学习的CTR模型 本文首发于知乎专栏 https://zhuanlan.zhihu.com/p/53462648 简介 这篇论文提出使用multi-head self attention(类似Transformer里的那个) 机制来进行自动特征交叉学习以提升CTR预测任务的精度。 废话不多说,先看下主要结构。典型的四段式深度学习CTR模型结构:输入,嵌入,特征提取,输出。这里我们重点看下嵌入和特征提取部分 核心结... 阅读详情

本文为DeepCTR学习交流小组在0113-0120期间的部分讨论内容的记录,本期整理的主题包括图算法的应用,推荐冷启动,多任务学习,召回模型以及面试求职刷题等方面。由于时间和原因并不能完整记录所有讨论内容,请大家谅解~ 

Node2Vec得到embedding后计算出的距离不符合逻辑

  • 提问者:想请教大家一个问题,Node2Vec嵌入以后计算的距离有点不符合逻辑,有的点直接连接算出来的距离却比path为3或者4的点对距离还要大,有人遇到过这个问题吗?

  • 大佬A: 图中的边是否有权重?

  • 提问者:有的,感觉和边权有关。刚刚和同学讨论,他提到了网络里的聚类效应,也可能影响了这个距离。

  • 大佬A:另外,还可能是游走的时候,采样的问题,因为边你也加了权重。

  • 大佬B: 我觉得是权重的问题吧,你提到的相邻的边,权重是不是比较大呢

  • 提问者:都不大,边权为1或者是2

  • 大佬B:如果权重差不多,我觉得应该是图结构问题吧。因为随机采样的时候,跳转概率会受到权重的影响,所以生成的序列也会受到影响,我猜测出现你这种情况可能恰好是path=3或4的节点刚好与近邻节点是邻居,也就是受到了结构的影响

  • 提问者:path=3或4的节点刚好与近邻节点是邻居,能否再解释一下?

  • 大佬B:图里a,b是直连的,path=1,ac的path=3,但是算上边权的话ab的权重是2,ac之间权重是3。这样很可能得到的结果是ab的距离比ac要大。

关于图网络在推荐场景的应用

  • 大佬A:昨天我问了下知识图谱做embedding特征的可行性,记得有人问我GNN上线了没?DeepWalk GraphSAGE作为与训练的方式上线了,GAT等试了没效果,估计和GraphSAGE重复了。

  • 大佬B:实体节点里除了ID类特征还有别的吗

  • 大佬A:没有的,纯ID类特征。

  • 大佬B:不是hin?就是一个id类的graph?

  • 大佬A:嗯 只加id就够了

关于推荐系统冷启动的问题

  • 提问者:关于推荐系统冷启动都有什么好的算法和技术吗?之前一直topk和onboarding label容易出现马太效应

  • 大佬A:业内有在用多臂老虎机解决冷启动问题的吗?

  • 大佬B: e-greedy最简单好用

  • 大佬C:我们目前用的汤普森采样

  • 大佬B:楼上怎么和召回排序算法结合起来的?

  • 大佬C:EE是独立的链路,每天给一定比例的流量曝光,不参与其他内容的排序。

  • 大佬D:上了EE点击率等指标应该会掉,你们怎么权衡这个事情呢

  • 大佬C:掉指标是正常的,但是对生态有帮助

  • 大佬D:你们生态的指标大概有哪几类?

  • 大佬C:基尼系数,新增优质内容占比等

  • 大佬B:你们现在基尼系数多少?

  • 大佬C:这个不方便透露~

  • 大佬E:你们有基尼系数的实现代码吗或者原理解释

  • 大佬F:李航统计学习方法那本里有,一般在决策树章节

关于多任务学习模型ESMM的若干问题讨论

  • 讨论一

esmm 训练模型的时候 最小化pctr和  pctcvr的loss  最后出来俩模型,pctr和pcvr,其中pcvr模型是间接得到的。我的理解是,训练的时候pctr和pcvr可以使用相同的模型结构和特征,不知道理解的对不对?

回答:对的

  • 讨论二

最近看了esmm论文,有点问题,请教各位:

1.ctcvr 模型就是用避免直接学习点击--》购买的 model,直接从 曝光-点击(ctr), 曝光-购买(ctcvr)来估计 ctr ,这样理解对么?

2.既然能够得到ctcvr(我理解就是曝光到最终转化的概率),那么需要求cvr点击到购买的转化么?我们业务主要就是推荐转化,我理解为就是从曝光到转化。是不是广告领域需要在不同阶段的转化,不同计费?

3.如果曝光-点击,曝光-购买,建立个模型ctcvr,那如果有更多个阶段的转化,理论每个转化路径都可以建模了?

回答:

1.是这样
2.确实是click和转化是两个定价
3.也就是其他行为比如电商里面收藏啊这些都可以用类似esmm的办法去建模,可以看下ESM^2 《Conversion Rate Prediction via Post-Click Behaviour Modeling》(https://arxiv.org/abs/1910.07099)

  • 讨论三

ESMM的损失函数对于曝光未点击样本当作了cvr任务的负样本,实际上未点击样本我们并不知道是否可能发生转化。
另外就是对于点击且转化样本 相当于是给ctr任务的样本加权了 更新的 2*ctr_loss +cvr_loss。这个感觉说的过去,因为既然转化了那用户对其点击的兴趣可能比点击未转化的高

关于双塔模型的来由

  • 提问者:各位大佬,双塔的网络结构是为了解决啥问题啊?

  • 大佬A:双塔当初不为了解决啥,是从微软文本匹配问题得到的思路,把推荐问题看做user和item的匹配问题。不过双塔有一个独特的优势是两个塔互相独立,可以各自缓存,线上infer就飞快

关于Transormer中的masked multi head attention

  • 提问同学:请教一下这个masked multi head attention的masked的意义不,专门画了图记忆,网上说是masked是已经产出sequence的,应该如何理解

  • 大佬A: 在训练的过程中 为了加快收敛一般会采用teacher forcing策略 也就是会把待解码的序列一次性的输入给解码器。
    因为self-attetion是并行的,不像RNN那样有天然的顺序,所以他会看到待解码词未来时刻的词,而这样解码是不符合现实的,所以把待解码词未来时刻的词mask掉,来模拟解码时逐个时刻的求解过程
    举个例子,
    i am vegetable  ---> 我贼菜
    正常情况的解码,应该是
    [go] ---> 我
    [go],我 ----> 贼
    [go],我 ,贼 ---> 菜
    为了加快收敛,解码的时候会把   我 贼 菜 全都输入给解码器,但是你解“贼”的时候,“菜”还是未知的,不能让模型提前获取到“菜”的信息,所以把“菜”mask掉

  • 提问同学B:
    这句为了加快收敛是什么意思呀?为什么一起输入就会加快收敛,一个个进去就不加快呀?
    我好像知道了,这里采用了并行,然后就会快,比那个lstm不能并行只能按顺序一个个输入运算要快,大佬,您觉着我说的对吗?所以收敛换成并行是不是更合适?

  • 大佬A:
    不是。因为如果你按照经典的解码方式,可能会出现误差传导的问题。
    还拿“我贼菜”做例子,经典解码是
    [go] ---> 我
    然后你要把上一时刻的输出“我”当作下一时刻的输入,但如果你这一时刻的输出错了,比如输出变成了 [go] ---> 贼
    那你后面就全错了
    后面就得迭代更多的轮次来试图修正这种错误 所以为了防止这种错误 会在训练阶段直接输入正确答案,而不用输入上一时刻的输出,这样就能保证解码的时候尽可能都是正确的了 从而加速了收敛

  • 提问同学B:
    那transformer的encoder端输入的时候,把整个句子输入进去,此时这个multihead attention的优势是并行对吗

  • 大佬A:
    一方面是并行,另一方面 有些实际应用上发现 像LSTM这种网络 当句子太长的时候 会偏向于记住靠后时刻都信息 transformer采用self attention 一定程度上也能缓解这个问题

背包九讲

  • 大佬A:背包九讲看前面三张感觉面试就够了

  • 大佬B:和剑指比怎么样??

  • 大佬C:可以理解为背包九讲是专门讲有深度的 dp。

  • 大佬D:背包九讲就那么几页,但是我从来都看不完

  • 大佬A:找工作而已,不用看完

  • 大佬D:acwing上背包九讲各种背包问题的题,看完可以刷一刷

  • 大佬E:推荐一本书 算法笔记 胡凡写的

  • 大佬F:https://www.zhihu.com/people/wang-jian-25-7/posts 这里面记录了面试遇到的leetcode的题

  • 大佬C:分享一下存的干货。https://www.cnblogs.com/grandyang/p/4606334.html


完)


计算广告(七) 广告排序技术 为什么要做预估 谈到CTR/CVR/DeepCVR,尤其在互联网广告这块,简而言之,就是给某个网络服务使用者推送一个广告,该广告被点击的概率/浅层转化/深层转化概率 由于现有广告排序遵循ecpm = ctr * cvr * deep_cvr * bid * alpha + hidden_cost,且要作为计费金额计算,所以和推荐、搜索最大的不同是,不能保证序正确,而是要保证整体预估的准确性 公式 ecpm = ctr * cvr * deep_cvr * bid * alpha + h 阅读详情

相关推荐

推荐系统(一)LR,FM,FFM,Deep&Wise,DeepFM,ESMM

一、LR (一)简单总结 是广义线性模型,每个特征都是独立的,如果需要考虑特征与特征之间的相互作用,需要人工对特征进行交叉组合。 非线性SVM可以对特征进行核变换,但是在特征高度稀疏的情况下,并不能很好的进行学习。 (二)FTRL 二、FM Rendle S. Factorization Machines[C]// IEEE Internati...

qq_35319215的博客 1837

2020年最值得收藏的60个AI开源工具

原本链接:添加链接描述 本文,InfoQ梳理了60个2019年至今GitHub上热门的开源工具,献给那些对新征程满怀期待的开发者们。Flair (顶级 NLP 库)2018 年是 NLP 井喷的一年。像 ELMo 和谷歌 BERT 这样的库层出不穷,正如 Sebastian Ruder 所言,“NLP 高光时刻已经来临”,并且这种趋势一直延续到了 2019 年。Flair 是另一款出色的 NLP 库,技术先进、简单易懂、操作方便。 Flair 由 Zalando Research 开发及开源,是基于 Pyt

古月哲亭 5610

AI上推荐 之 DSIN模型(阿里DIEN之上的再探索,Transformer来了)

1. 写在前面 这篇文章整理模型,不再使用华丽的前言外表, 也跳出了王喆老师书上的推荐模型, 从前面的各个模型的基础上开始尝试推荐系统领域各个方面的一些新探索和成果了, 后面的这个系列打算采用“小步快跑”的方式,每次研究一个模型,主要是基于原论文和一些不错的博客,然后通过一篇文章把细节进行梳理,这样既兼顾论文总结,也能保持短期更新,逼迫自己快速学习和输出。 但是为了整理清楚每篇论文里面的细节和完成知识的串联,篇幅上可能依然不会减太少,当然,也是视情况而定, 重要的模型多整理(理论和代码), 不太重要的简单总

Miracle8070 4734

pyspark+DSSM做大规模道具商品个性化推荐模型训练

背景:需要从大量道具中检索出用户喜欢的道具,出于隐私保护代码中隐去了使用到的具体特征,整个流程是可以跑通的,实际使用时可以根据需要增加相应的early stopping,BN,数据采样等操作。 环境设置:deepmatch==0.1.3,deepctr[GPU]==0.7.5,pyspark==2.4.0,keras 模型文件: import pandas as pd import numpy as np import tensorflow as tf from ten...

木东的博客 953

CTR预估模型演进史 · Deep&Cross、DIN、ESMM

CTR预估模型演进史 · Deep&Cross、DIN、ESMM1、Deep&Cross1.1 cross_layer2、DIN2.1 Dice激活函数2.2 Attention3、ESMM3.1 多任务学习3.2 多任务学习在推荐系统中的应用 1、Deep&Cross 1.1 cross_layer def cross_op(x0, x, w, b): dot = tf.matmul(x0, tf.transpose(x)) cros= tf.tensordot(dot

正趣果上果 644

SparkCTR:基于spark(LR,GBDT,DNN)的CTR预测模型

点击率模型 基于纯Spark MLlib的CTR预测模型,无第三方库。 实现模型 朴素贝叶斯 逻辑回归 分解机 随机森林 梯度提升决策树 GBDT + LR 神经网络 内部产品神经网络(IPNN) 外部产品神经网络(OPNN) 用法 这是一个行家项目。 Spark版本是2.3.0。 Scala版本是2.11。 在maven自动导入依赖项之后,您可以简单地运行示例函数( com.ggstar.example.ModelSelection )来训练所有CTR模型并获得所有模型之间的指标比较。 有关点击率预测的相关论文 其他资源

PySpark+深度语义模型DSSM+获取embedding

背景:需要从大量道具中检索出用户喜欢的道具 环境设置:deepmatch==0.1.3,deepctr[GPU]==0.7.5,pyspark==2.4.0,keras 模型文件: import pandas as pd import numpy as np import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers from sklearn.utils import shuff

数据挖掘ing 1415

ComfyUI中一个超好用的变量管理类节点-KJNodes

在AI绘图中,ComfyUI的热度开始慢慢起来一些,但是这个软件在使用的过程中,需要很多连线,仅仅一个最简单的动画生成,就需要连接这么多线条,而且有些线会飞的很远,看起来就很不美观,尤其是一些复杂工作流,连接到最后自己可能已经分不太清楚到底连接好了没有。今天在研究C站的大佬们的工作流的时候,发现一个有意思的工作流,看起来大概是这种感觉:干净整洁。他用到了KJNodes这么个节点来管理变量,git上星标也不算很多,所以我想很多朋友可能还不知道,所以这里简单介绍下用法。

聚梦小课堂 7527

PySpark+多任务学习模型MMOE实践

参考: https://github.com/drawbridge/keras-mmoe,作者用的是tensorflow1.15版本,根据线上环境需要换成了2.2版本的tensorflow。 运行环境: pyspark==2.4.0,keras==2.2.4,tensorflow==2.2 模型文件: #coding:utf-8 import random import os import pandas as pd import numpy as np from sklearn.me..

数据挖掘ing 974

SAP FICO会计凭证过账接口

-------------------------------------增加职能范围-ZHANGZG-2022.09.07 注释掉-2022.09.20。CONCATENATE '总账' ls_doc_item-hkont '要求输入成本对象值!*-------------------------------------增加职能范围-ZHANGZG-2022.09.07。*-------------------------------------增加职能范围-ZHANGZG-2022.09.07。

dingqing86的专栏 1080

CMap数据库学习及结果可视化

CMap是一个生物信息学数据库和工具,旨在通过比较基因表达谱来揭示药物、基因和疾病之间的潜在关联。CMap数据库主要用于寻找药物、化合物和生物过程之间的关系,并用于药物重定位(drug repurposing)和疾病机制研究。

zfyyzhys的博客 5603

transformers在ctr中的应用

文章目录1.背景2.相关论文解析2.1 《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》2.1.1 论文贡献2.1.2 模型结构2.1.2.1 输入2.1.2.2 注意力机制层2.1.3 实验结果2.2 《Behavior Sequence Transformer for E-commerce Recommendation in Alibaba》 1.背景 目前Transformers及其

qq_30232405的博客 1636

AI+Xmind自动生成测试用例(思维导图格式)

最后:我是Walker,一个热爱分享编程知识的程序员,希望能够帮助到你!

Think_and_work的博客 2335

DeepCTR:易用可扩展的深度学习点击率预测算法库

这个项目主要是对目前的一些基于深度学习的点击率预测算法进行了实现,并且对外提供了一致的调用接口。 关于每种算法的介绍这里就不细说了,大家可以看论文,看知乎,看博客,讲的都很清楚的。 这里简单从整体上介绍一下DeepCTR这个库。 首先这个不是一个框架,它不具有学术创新意义,目前也没有解决什么复杂的工程问题。 它面向的对象是那些对深度学习以及CTR预测算法感兴趣的同学,可以利用这个库: 从一个统一...

浅梦的学习笔记 7023

【Oracle数据库】Oracle11g数据库下载与安装教程(超详细安装图解)

Oracle11g是Oracle公司出的一个比较轻量版的数据库,这里重点说一下在window系统上如何安装Oracle11g, Oracle11g是很早之前的安装包,win7 系统安装时不会遇到环境不满足最低要求的提示,win11系统安装时会提醒环境不满足,修改配置文件即可(注意:先安装oracle服务端/oracle客户端,再安装第三方工具(PL/ SQL Developer,DBeaver等)服务器端环境概述:ORACLE数据库版本:Oracle 11g 64位(11.2.0)

qq_34463511的博客 1万+

搭建AutoSAR开发环境

任何开发都需要一套开发环境,包括软硬件环境,笔者后续将介绍的是 NXP 的 S32K144 配套的开发板。接下来详细介绍怎么获取这些软硬件工具。仅供个人学习使用!

cfl927096306的博客 6114

DeepCTR与TensorFlow 2.x深度整合:打造新一代CTR模型开发的终极指南

DeepCTR是一款基于深度学习的点击率(CTR)预测模型开发工具包,版本0.9.3已实现与TensorFlow 2.x的深度整合。本文将为你提供从环境搭建到模型部署的完整指南,帮助新手快速掌握CTR模型开发的核心技能。 ## 🌟 为什么选择DeepCTR? DeepCTR作为一款模块化、可扩展的CTR模型开发框架,具有三大核心优势: - **丰富的模型库**:内置20+主流CTR模型,包括

gitblog_00610的博客 1131

英伟达 DGX Spark & Reachy Mini 入门教程(一)

英伟达在2026年CES上发布多款开放模型,包括Nemotron推理LLM、Isaac GR00T VLA和Cosmos世界模型,助力开发者构建个性化AI代理。文章详细介绍了如何通过DGXSpark和Reachy Mini机器人打造办公助手,涵盖材料准备(推理/视觉模型、文本转语音服务)、智能体构建(NeMo Agent Toolkit框架)、工具调用和路由策略实现。系统支持本地/云端部署,提供语音交互、视觉识别和动作执行功能,并保持完全开源可定制。最后给出运行演示的终端配置步骤和测试用例,鼓励开发者在此基

2506_90492529的博客 2717

计算广告(三)

出价是最靠近广告主侧的业务 广告精排结束,就基本确定哪些广告要被投放出去了,这个时候对于该用户流量优化调整已经微不足道了(ctr, cvr, deep_cvr), 这个时候,就可以采用出价的方式来对模型结果做干预,但是做干预也倾向于基于一个原则(本次广告展现预估花掉广告主多少钱,是不是能带来更多的广告主转化) 竞价广告,对于同一个流量来说,是基于ecpm排序作为出哪个广告的标准,相关的ecpm公式为: ecpm = rank_bid * pctr * pcvr + hidden_cost ecpm

GavinKai 3621

华为eNSP镜像包全集下载,包含CE6800、CE12800、NE系列等!

你好,这里是网络技术联盟站。昨天给大家介绍了win11、10下安装eNSP最新系列(1.3.00)并完美运行,附下载。从文章发布到发文前,一直有朋友想让瑞哥提供一下华为ENSP镜像包,今天安排!eNSP安装包、以及eNSP中所需要的镜像包(设备包)(CE、CX、NE40E、NE5000E、NE9000、USG)例如:导入一个USG设备包,eNSP中的USG5500和USG6000V都是可以启动的。如果你的报错“40”的话,那么打开Oracle VM VirtualBox这个虚拟机,删除对应报错的虚拟机,然后

网络技术联盟站 3万+

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

ctr/cvr预估之Wide&Deep模型

Wide & Deep模型是一种结合了线性模型和深度神经网络的机器学习架构,专为处理推荐系统和广告点击率预估等任务中的高维稀疏数据而设计。该模型包含两个主要部分:Wide部分和Deep部分。Wide部分基于广义线性模型,能够捕获数据中的一阶特征和线性关系,它通过大量的稀疏特征和特征组合来学习模型的线性信号,这使得模型能够解释和利用已有的领域知识(增强记忆[memorization]能力)。Deep部分则是一个深度神经网络,能够自动学习数据中的高阶特征交互和非线性模式。

LUyan10086的博客 1769

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

深度学习之DeepCTR

展示广告中的深度CTR预估 摘要 1 介绍 2 相关工作 2.1 展示广告CTR预估 2.2 深度神经网络 3 方法概述 4 网络结构 5 加速训练 5.1 稀疏全连接层 5.2 数据采样 6 实验 6.1 实验设置 6.1.1 数据集 6.1.2 原型 6.1.3 评价指标 6.1.4 网络配置 6.2 结果分析与讨论 6.3 可视化Convnet 7 结论 ...

Minskyli 8565

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

【广告系列一】广告相关名词 CTR/CVR/eCPM...

广告相关名词推广/广告指标广告基础名词电商类网红类网盟类其他Referecne 推广/广告指标 Verb EN CN impression 展示量/曝光 点击数 / CTR CPM cost per mille 千次展示成本CPM = 广告费用/展示次数x1000 CPC Cost per clicks 按点击付费平均每次点击花费 CPA Cost per action 按照行动付费可以是点击,安装,购买等 oCPM Optimized Cost per Mille 优

鹿鹿的博客 1万+

推荐系统CTR(CVR)预估模型(多任务学习)之ESMM

 esmm模型是阿里妈妈基础算法团队发表在SIGIR 18上的一篇论文,用来做转化率预估。  整篇论文非常简单,创新点也很通俗易懂,转化率预估目前主要存在两个难点:1、sample selection bias, conversion CVR model are trained on dataset composed of clicked impressions, while are util...

gq的博客 1万+
上一篇: 口罩不够用咋办?这些办法或许可以帮得上你
下一篇: 疫情在家,全球 3万个景区 VR全景图,免费看。
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值