<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[baymax_007的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/baymax_007</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; baymax_007]]></copyright><item><title><![CDATA[多分类预估和auc评估]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/109629804</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/109629804</guid><author>baymax_007</author><pubDate>Wed, 11 Nov 2020 21:29:23 +0800</pubDate><description><![CDATA[经典CTR预估场景，主要对是否曝光/点击（0/1）进行二分类。最近遇到多分类（类别之间互斥）问题，踩了一些坑，总结和整理下，希望能够加深对多分类理解和思考。

区别


			二分类
			多分类
		标签
			0/1
			c类，如c=10:[0,1,0,0,0,0,0,0,0,0]
		损失函数
			交叉熵
			多分类交叉熵
		预估输出
			(0,1)值
			c维向量，如c=10:[0.1,0.1,0.2,0.2,0.1,0.1,0.1,0.2,0.2,0.1]
		auc评估
			随机.]]></description><category></category></item><item><title><![CDATA[谈谈做算法中踩过的一些坑]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/102646874</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/102646874</guid><author>baymax_007</author><pubDate>Sun, 20 Oct 2019 13:07:49 +0800</pubDate><description><![CDATA[目录

产品形态

需求和挑战

规范性

优化约束

业务策略

工程架构

数据流

流量分发

降级

服务告警

数据特征

数据归一化

数据缺失

数据稀疏

数据不置信

第三方数据校验和统一

模型调参

数据量级

tensorboard

参数随机初始化

初始学习率

激活函数选择

学习率设定

防止过拟合

优化器选择

残差块与BN层

自动调参方法

Grid Sea...]]></description><category></category></item><item><title><![CDATA[强化学习进阶——DQN]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/102066329</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/102066329</guid><author>baymax_007</author><pubDate>Fri, 04 Oct 2019 17:14:53 +0800</pubDate><description><![CDATA[目录

预备知识

基本概念

目标和约束条件

MDP马尔可夫决策过程

假设

基本概念

计算价值函数

Action-Value Function动作价值函数

Optimal value function最优价值函数

策略迭代和值迭代

Q-Learning

Q-Learning算法

EE问题

DQN

Q-Learning神经网络化

DQN算法及其改进

NIPS DQN

...]]></description><category></category></item><item><title><![CDATA[强化学习基础——bandit]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/101076294</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/101076294</guid><author>baymax_007</author><pubDate>Sat, 21 Sep 2019 11:10:22 +0800</pubDate><description><![CDATA[目录

为选择而生

为错误买单代价

经典方法

朴素Bandit算法

ε-Greedy算法

Thompson sampling算法

Thompson sampling算法流程

UCB

UCB算法流程

LinUCB

Context Bandit-附加信息刻画决策过程

Context Bandit如何学习

LinUCB算法流程

LinUCB代码

LinUCB with Hyb...]]></description><category></category></item><item><title><![CDATA[深度兴趣网络模型探索——DIN+DIEN+DSIN]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/91130374</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/91130374</guid><author>baymax_007</author><pubDate>Mon, 10 Jun 2019 23:33:20 +0800</pubDate><description><![CDATA[目录

DIN

背景

din模型结构提出

自适应正则提出

相关延伸

系统概述

推荐流程介绍

特征工程

基本模型结构

DIN模型

自适应正则

DIEN

背景

DIEN模型提出

DIEN关键点

DIEN模型

兴趣提取层

兴趣演化层

DIEN模型结构

DSIN

背景

DSIN模型提出

DSIN改进点

DSIN模型

会话划分层

会话兴趣提取层

会话兴趣...]]></description><category></category></item><item><title><![CDATA[feed流个性化推荐架构和算法分享]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/89853030</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/89853030</guid><author>baymax_007</author><pubDate>Sun, 05 May 2019 21:47:38 +0800</pubDate><description><![CDATA[目录

一、场景

1.应用场景

2.feed流资讯应用场景

二.架构

1. 物理架构

2.逻辑架构

三、召回算法

1.用户画像

2. tag热度（tagCtr）

3. LBS/时间轴

4.关键词标签

5.主题标签

6.语义标签

7.协同过滤

8.SimRank

9. BERT

10. FFM

11. Deep &amp; Wide

四、排序算...]]></description><category></category></item><item><title><![CDATA[计算广告——读书笔记（二）]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/89043691</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/89043691</guid><author>baymax_007</author><pubDate>Fri, 05 Apr 2019 18:56:29 +0800</pubDate><description><![CDATA[在计算广告——读书笔记（一）中，主要从产品角度介绍，而本篇从技术角度，继续介绍广告业务。

一、计算广告技术概述

1. 个性化系统框架

一般个性化系统由四部分组成：用于实时响应请求，完成决策的在线投放（online serving）引擎，离线的分布式计算（distributed computing）数据处理平台，用于在线实时反馈的流计算（stream computing）平台，链接和运转以上三...]]></description><category></category></item><item><title><![CDATA[计算广告——读书笔记（一）]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/88949024</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/88949024</guid><author>baymax_007</author><pubDate>Tue, 02 Apr 2019 20:38:38 +0800</pubDate><description><![CDATA[目录

一、在线广告综述

1. 大数据和广告关系

2. 广告定义和目的

3. 在线广告创意类型

4. 在线广告简史

5. 泛广告商业产品

二、计算广告基础

1. 广告有效性原理

2. 互联网广告的技术特点

3. 计算广告的核心问题

3.1 广告收入的分解

3.2 结算方式与ECMP估计关系

4. 在线广告相关行业协会

5. 问题

三、在线广告产品概览

1. 商业产...]]></description><category></category></item><item><title><![CDATA[基于K-均值的app列表聚类分析优化]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/88222563</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/88222563</guid><author>baymax_007</author><pubDate>Wed, 06 Mar 2019 11:59:26 +0800</pubDate><description><![CDATA[目录

一、过滤词表筛选

二、模型更新

三、app类型处理

1. 统计app类型占比

2. 新增app类型特征

在基于K-均值的app列表聚类分析中，初步完成用户app列表特征聚类。我们在评估中发现以下几个问题：

某些同类用户app列表出现大量相同的国民app（如支付宝、微信、QQ、腾讯视频等）和系统app（如日志和备份、相机等）；
	部分app属性对应有app类别，这部分信息没有利用...]]></description><category></category></item><item><title><![CDATA[基于K-均值的app列表聚类分析]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/87986743</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/87986743</guid><author>baymax_007</author><pubDate>Wed, 27 Feb 2019 20:55:14 +0800</pubDate><description><![CDATA[目录

一、工程实现

1. 提取稀疏向量

2. K-均值聚类

3. 踩过的坑

二、评估

在个性化推荐中，新用户冷启动问题一直是难题。一般做法是tagCtr、地域、时间轴等（用户画像单一维度）推荐，效果也挺不错的。其实，除了以上比较明显维度考量，用户app列表也隐藏着用户丰富个性化特征。不同用户群体对app偏爱也不尽相同，例如游戏宅可能更多选择各种类型游戏app，漫画控喜欢二次元和动漫ap...]]></description><category></category></item><item><title><![CDATA[大规模分布式图学习框架Euler——安装和使用]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/86552118</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/86552118</guid><author>baymax_007</author><pubDate>Mon, 21 Jan 2019 20:51:45 +0800</pubDate><description><![CDATA[目录

一、Euler介绍

1. 框架

2. 应用

2.1 大规模图的分布式学习

2.2 支持复杂异构图的表征

2.3 图学习与深度学习的结合

2.4 分层抽象与灵活扩展

3. 内置算法

二、Euler安装

1. 编译

2. Euler安装 

2.1 PyPI安装

2.2 源码编译安装

三、GraphSage模型训练

1. PPI数据

2. 模型训练

3. 模型评估...]]></description><category></category></item><item><title><![CDATA[基于deepwalk图嵌入的match解读]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/86093856</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/86093856</guid><author>baymax_007</author><pubDate>Tue, 08 Jan 2019 21:07:49 +0800</pubDate><description><![CDATA[目录

一、deepwalk解读

1. deepwalk介绍

2. deepwalk优势

2.1 online学习

2.2 并行

2.3 信息缺失

2.4 graph embedding

3. deepwalk算法和流程实现

二、deepwalk在推荐应用

1. 目标

2. 代码说明

2.1 数据格式

2.2 代码说明

3. 实验输出

目前推荐系统常用的召回方法有ite...]]></description><category></category></item><item><title><![CDATA[DBeaver 5.3.1安装和使用]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/85339636</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/85339636</guid><author>baymax_007</author><pubDate>Wed, 02 Jan 2019 22:14:39 +0800</pubDate><description><![CDATA[目录

一、下载和安装

二、连接

1. mysql连接

2. hive连接

3. clickhouse连接

4. elasticsearch连接

5. neo4j连接

6. phoenix连接

6.1 hbase与phoenix整合

6.2 启动

6.3 测试

6.4 连接

DBeaver是基于jdbc驱动的数据管理工具，支持丰富的数据库，如mysql、hive、click...]]></description><category></category></item><item><title><![CDATA[tensorflow 常用API总结]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/85249432</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/85249432</guid><author>baymax_007</author><pubDate>Tue, 25 Dec 2018 16:23:59 +0800</pubDate><description><![CDATA[最近一边接手一些深度学习的项目，一边学习和消化。在review code时，查询了不少api，其中一些api由于tensorflow版本已经弃用，为此专门做了些修正，并总结下来。]]></description><category></category></item><item><title><![CDATA[spark优化指南]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/84328174</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/84328174</guid><author>baymax_007</author><pubDate>Wed, 21 Nov 2018 18:57:54 +0800</pubDate><description><![CDATA[目录

一、代码优化

1. 基本原则

2. 算子优化

2.1 reduceByKey/aggregateByKey替代groupByKey

2.2 mapPartitions(foreachPartitions)替代map(foreach)

2.3 使用filter之后进行coalesce操作

2.4 repartitionAndSortWithinPartitions替代repart...]]></description><category></category></item><item><title><![CDATA[推荐系统FM & FFM算法解读与实践]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/83931698</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/83931698</guid><author>baymax_007</author><pubDate>Tue, 13 Nov 2018 19:07:43 +0800</pubDate><description><![CDATA[在推荐系统和计算广告业务中，点击率CTR（click-through rate）和转化率CVR（conversion rate）是衡量流量转化的两个关键指标。准确的估计CTR、CVR对于提高流量的价值，增加广告及电商收入有重要的指导作用。业界常用的方法有人工特征工程 + LR（Logistic Regression）、GBDT（Gradient Boosting Decision Tree） + ...]]></description><category></category></item><item><title><![CDATA[HBase优化指南]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/83793273</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/83793273</guid><author>baymax_007</author><pubDate>Tue, 06 Nov 2018 20:13:27 +0800</pubDate><description><![CDATA[在Hbase2x 增删改查 scala版中，有介绍HBase1.2.x增删改查的api文档，但仅仅了解还是不够，在不同的读写业务场景中，必须做出适当优化，才能满足业务需求。本文首先讲解HBase缓存机制，并针对服务端(server)和客户端(client)进行调优说明。

一、HBase缓存机制

HBase由master和regionserver组成，master用来管理regionserver...]]></description><category></category></item><item><title><![CDATA[tensorflow模型构建流程]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/83688242</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/83688242</guid><author>baymax_007</author><pubDate>Sat, 03 Nov 2018 16:40:27 +0800</pubDate><description><![CDATA[在tensorflow中，构建模型流程比较程式化，有构建图表（Build Graph）和评估（evaluate）两部分，其中构建图表又分为：推理（Inference）、损失（Loss）、训练（train）。掌握了这些，对于快速上手工程开发很有帮助。

一、构建图表

1. 推理（Inference）

inference()函数会尽可能地构建图表，做到返回包含了预测结果(output predic...]]></description><category></category></item><item><title><![CDATA[elasticsearch6.x ik中文分词集成]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/83347849</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/83347849</guid><author>baymax_007</author><pubDate>Wed, 24 Oct 2018 18:12:06 +0800</pubDate><description><![CDATA[Elasticsearch是一个基于Apache Lucene(TM)的开源、实时分布式搜索和分析引擎。它用于全文搜索、结构化搜索、分析以及将这三者混合使用。IK Analysis插件将Lucene IK分析器集成到elasticsearch中，支持自定义词典。

1. 选择ik版本

IK版本安装是由Elasticsearch版本决定的，如下图所示。

IK版本
			ES版本
		主
			6...]]></description><category></category></item><item><title><![CDATA[tensorflow之卷积神经网络]]></title><link>https://blog.youkuaiyun.com/baymax_007/article/details/83273355</link><guid>https://blog.youkuaiyun.com/baymax_007/article/details/83273355</guid><author>baymax_007</author><pubDate>Tue, 23 Oct 2018 21:27:07 +0800</pubDate><description><![CDATA[卷积神经网络CNN(convolutional neural networks，CNN)是一种类似于人工神经网络的深度学习模型或多层感知机，常用在图像分类、目标检测、图像语义分割等领域，随着大规模图像数据的产生以及计算机硬件(特别是GPU)的飞速发展，其强大的特征学习与分类能力引起了广泛的关注，具有重要的分析与研究价值。

一、what is CNN？

工欲善其事必先利其器，为了更好理解卷积神经...]]></description><category></category></item></channel></rss>