<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[苏三慎的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/kunpen8944</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; kunpen8944]]></copyright><item><title><![CDATA[Transformers in NLP （一）：图说transformer结构]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/106032579</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/106032579</guid><author>kunpen8944</author><pubDate>Wed, 13 May 2020 23:08:20 +0800</pubDate><description><![CDATA[从transformer开始，nlp的模型渐渐开始成为了transformer一族的天下，所以想写一个系列聊一聊在nlp中那些运用transformer的模型。
作为这个系列的第一篇，就从大名鼎鼎的transformer结构开始。
一、编码器（encoder）与解码器（decoder）
最早提出transformer的文章是attention is all you need，研究的nlp的任务是翻译，自然而然就借鉴了seq2seq的翻译结构，有了编码器（encoder)和解码器（decoder）。
正如下面]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统与深度学习-第五章-混合推荐系统]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89764387</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89764387</guid><author>kunpen8944</author><pubDate>Mon, 15 Jul 2019 00:14:09 +0800</pubDate><description><![CDATA[1 什么是混合推荐系统
1.1 混合推荐系统的意义
1.1.1 海量数据推荐
海量数据推荐系统通常是三个部分构成的：在线系统、近线系统和离线系统。


离线系统是传统的个性化推荐系统的主体，定期利用大量历史操作日志进行批处理运算，然后进行特征构造及选取， 最终建立模型并更新。
近线系统是将用户产生的事件，利用流式计算得到中间结果，这些中间结果一方面发送给在线部分用于实时更新推荐模型， 另一方面将中...]]></description><category></category></item><item><title><![CDATA[吴恩达-deeplearning-第四课卷积神经网络-第四周 课程笔记 神经风格转换与人脸识别]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/90755197</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/90755197</guid><author>kunpen8944</author><pubDate>Mon, 03 Jun 2019 22:14:38 +0800</pubDate><description><![CDATA[课程来源：网易云课堂与coursera
一、神经风格转化
1、理论

问题描述：给定一张需要转化的内容图像（C）一张想要转化成的风格的图像（S），通过无监督学习的方法将其转化为有S风格的内容图像G。

解决方案：对C、S、G三个图像定义一个损失函数J，在对损失函数的优化过程中完成对G的训练，也就是说C、S是固定输入，G是通过训练优化的参数。

损失函数J分为两个部分：内容损失函数，与C、G有关；风...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统与深度学习-第四章-推荐系统的基础算法]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89709328</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89709328</guid><author>kunpen8944</author><pubDate>Tue, 30 Apr 2019 21:37:48 +0800</pubDate><description><![CDATA[前言：这本书是由清华大学出版社的《推荐系统与深度学习》，由黄昕、赵伟、王本友、吕慧伟、杨敏编著，前三章分别是对推荐系统的简单介绍、对深度学习的介绍以及对tensorflow的介绍，这里就不做笔记了。
这一章主要介绍了传统的一些推荐方法以及利用深度学习方法（CNN、自编码、node2vec）进行一些特征表征和提取。
1、基于内容的推荐算法
1.1 基于内容的推荐算法基本流程

特征（内容）提取

基...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统实践-第八章-评分预测问题]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89553110</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89553110</guid><author>kunpen8944</author><pubDate>Fri, 26 Apr 2019 15:39:36 +0800</pubDate><description><![CDATA[1、离线实验方法

测评目的：找到好的模型小化测试集的RMSE

划分测试集与训练集

和时间无关的预测任务，可以以均匀分布随机划分数据集
和时 间相关的任务，那么需要将用户的旧行为作为训练集，将用户的新行为作为测试集



2、评分预测算法
2.1 平均值

全局平均值

用户评分平均值


物品评分平均值

用户分类对物品分类的平均值，物品和用户分类的依据：流行度和活跃度，平均分


2.2 ...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统实践-第七章-推荐系统实例]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89521990</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89521990</guid><author>kunpen8944</author><pubDate>Thu, 25 Apr 2019 20:46:05 +0800</pubDate><description><![CDATA[1、外围架构


UI系统负责给用户展示网页并和用户交互。
网站会通过日志系统将用户在UI上的各种各样的行为记录到用户行为日志中。日志可能存储在内存缓存里，也可能存储在数据库中，也可能存储在文件系统中。
推荐系统通过分析用户的行为日志，给用户生成推荐列表，最终展示到网站的界面上。

推荐系统的重要因素：推荐系统本身，界面展示，用户行为数据
界面的一些特性：

通过一定方式展示物品，主要包括物品的标...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统实践-第六章-利用社交网络数据]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89515556</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89515556</guid><author>kunpen8944</author><pubDate>Thu, 25 Apr 2019 15:34:04 +0800</pubDate><description><![CDATA[1、获取社交网络数据的途径

电子邮件：一般只有具有邮件系统的公司有研究社交关系的机会；如果获得了用户的邮件，可以使用邮箱后缀得到社交关系信息；社交官网还可以从电子邮件联系人中导入好友，进行冷启动。
用户注册信息：如学校、公司等
用户的位置数据：在同一位置的相关性可能会更高
论坛和讨论组：同时加入了很多一样的组，或者在一个帖子里面讨论
即时聊天工具：好友列表和分组信息，有隐私问题
社交网站

fa...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统实践-第五章-利用上下文信息]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89502384</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89502384</guid><author>kunpen8944</author><pubDate>Wed, 24 Apr 2019 20:39:26 +0800</pubDate><description><![CDATA[1、时间上下文信息
1.1 时间效应简介
时间信息对用户兴趣的影响主要表现在以下几个方面：

用户兴趣是变化的，应该关注用户最近的行为
物品也是有生命周期的
季节效应，节日也是

1.2 系统时间特性的分析
包含时间信息的用户行为数据集由一系列三元 组构成，其中每个三元组(u,i,t)代表了用户u在时刻t对物品i产生过行为
可以通过统计如下信息研究系统的时间特性

数据集每天独立用户数的增长情况
...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统实践-第四章-利用用户标签数据]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89497774</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89497774</guid><author>kunpen8944</author><pubDate>Wed, 24 Apr 2019 16:58:58 +0800</pubDate><description><![CDATA[1、UGC标签系统的代表应用

Delicious：给网页打标签
CiteULike：给论文打标签
Last.fm：给音乐打标签
豆瓣：书影音
Hulu：视频

打标签的作用：

表达 标签系统帮助我表达对物品的看法。
组织 打标签帮助我组织我喜欢的电影。
学习 打标签帮助我增加对电影的了解。
发现 标签系统使我更容易发现喜欢的电影。
决策 标签系统帮助我判定是否看某一部电影。

2、标签系统中的...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统实践-第三章-推荐系统冷启动问题]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89481240</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89481240</guid><author>kunpen8944</author><pubDate>Tue, 23 Apr 2019 21:06:35 +0800</pubDate><description><![CDATA[1、冷启动问题简介
冷启动主要分为三类：

用户冷启动
物品冷启动
系统冷启动

对于冷启动问题的一些解决方案：

提供非个性化推荐，如热门排行榜，行为数据积累到一定程度以后再用个性化推荐
利用用户注册时提供的年龄、性别等数据做粗粒度的个性化
利用用户的社交网络账号登录（需要用户授权），导入用户在社交网站上的好友信息，然后给用户推荐其好友喜欢的物品
要求用户在登录时对一些物品进行反馈，收集用户对这...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统实践-第二章-利用用户行为数据]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89408715</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89408715</guid><author>kunpen8944</author><pubDate>Tue, 23 Apr 2019 16:51:14 +0800</pubDate><description><![CDATA[1、用户行为数据简介
用户行为在个性化推荐系统一般会分为两种：显性反馈行为和隐性反馈行为。


如何用统一的方式表示这些所有的行为？

不同行为的不同数据集

无上下文信息的隐性反馈数据集 每一条行为记录仅仅包含用户ID和物品ID。
无上下文信息的显性反馈数据集 每一条记录包含用户ID、物品ID和用户对物品的评分。
有上下文信息的隐性反馈数据集 每一条记录包含用户ID、物品ID和用户对物品产生行。...]]></description><category></category></item><item><title><![CDATA[读书笔记：推荐系统实践-第一章-好的推荐系统]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89404778</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89404778</guid><author>kunpen8944</author><pubDate>Fri, 19 Apr 2019 17:27:05 +0800</pubDate><description><![CDATA[1、什么是推荐系统？
推荐系统作用可以解决信息过载的问题

帮助用户发现对自己有价值的信息
让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢

推荐系统和搜素引擎是互补工具

搜索隐形满足了用户有明确目的时的主动查找需求
推荐系统能在用户没有明确目的时候帮助他们发现感兴趣的内容

推荐算法的本质是通过一定的方式将用户和物品联系起来，而不同的推荐系统利用了不同的方式。

基...]]></description><category></category></item><item><title><![CDATA[斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第十三课 NLP中的卷积神经网络（CNN）]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/89034491</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/89034491</guid><author>kunpen8944</author><pubDate>Thu, 04 Apr 2019 19:59:44 +0800</pubDate><description><![CDATA[课程概要
1、卷积神经网络（CNN）

为什么需要在自然语言处理中引入卷积神经网络？
什么是卷积？
单层的卷积
多通道(Multi-channel)
在完成卷积之后，如何进行分类任务？
2、训练技巧
3、CNN的一些变体应用
4、模型比较

一、卷积神经网络（CNN）

为什么需要在自然语言处理中引入卷积神经网络？因为在RNN无法再忽视前文的情况下，获得词组的信息。
卷积神经网络的一个观点是：尝试...]]></description><category></category></item><item><title><![CDATA[斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第十二课 语音处理的端对端模型]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/84309708</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/84309708</guid><author>kunpen8944</author><pubDate>Wed, 03 Apr 2019 20:09:01 +0800</pubDate><description><![CDATA[一、自动语音识别（ASR）
将语音信号转化为转为对应的文字信息。
为什么使用ASR？

语音是与人类交流的一个自然的交互方式

可以进行自由交流
人类与之交互不需要学习新技术


有更多的应用

控制简单的设备：车内设备、家用设备等等
和智能设备交互：聊天机器人等



1、语音识别：经典的方法
建立一个文本序列Y= y1y2…yL到音频序列X = x1x2…xT的统计模型。基于N元模型，然后利用...]]></description><category></category></item><item><title><![CDATA[斯坦福大学-自然语言处理与深度学习（CS224n） 笔记 第一课 介绍]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/83547773</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/83547773</guid><author>kunpen8944</author><pubDate>Tue, 02 Apr 2019 21:25:38 +0800</pubDate><description><![CDATA[额

]]></description><category></category></item><item><title><![CDATA[斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第十一课 NMT与RNN的进一步讨论]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/84254404</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/84254404</guid><author>kunpen8944</author><pubDate>Mon, 19 Nov 2018 21:23:17 +0800</pubDate><description><![CDATA[本课概要
1、gated recurrent units比如GRUs和LSTM的再次回顾
2、机器翻译评估
3、单词生成问题
一、	gated recurrent units比如GRUs和LSTM的再次回顾
在RNN的后馈计算中，很容易出现梯度消失的问题。
梯度消失的原因是因为RNN结构中，所有的节点是一个一个按顺序相连的，所以权值矩阵就会依次相乘，很容易造成梯度消失。
而在GRUs中，长距离的节...]]></description><category></category></item><item><title><![CDATA[斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第十课 神经机器翻译（neural machine translation）与attention模型]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/84074966</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/84074966</guid><author>kunpen8944</author><pubDate>Thu, 15 Nov 2018 17:51:20 +0800</pubDate><description><![CDATA[一、机器翻译（MT）
机器翻译是一个十分经典的语言理解的测试，涉及语言分析（language analysis）与语言生成（language generation）。
机器翻译是一个巨大的商业市场，每年的市场规模达到400亿美元，在欧洲和亚洲都有市场。
神经机器翻译（NMT）：神经机器翻译是利用一个巨大的神经网络来为整体机器翻译过程建模。

1、神经机器翻译的历史回顾
最早开始于1987年，All...]]></description><category></category></item><item><title><![CDATA[斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第九课 应用于机器翻译的RNN、GRU与LSTM]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/84000242</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/84000242</guid><author>kunpen8944</author><pubDate>Tue, 13 Nov 2018 15:56:49 +0800</pubDate><description><![CDATA[一、一些重要的概念的回顾

二、传统的统计机器翻译方法

使用平行语料库（parallel），有相互对应的两种语言
有一个源语言f（source language），一个目标语言e（target language）
使用贝叶斯规则来构建概率公式，其中翻译模型p（f|e）是基于平行语料库（parallel）来进行训练的，语言模型p（e）是基于只有英语的语料库进行训练的



1、第一步：对应（ass...]]></description><category></category></item><item><title><![CDATA[斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第八课 循环神经网络]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/83903509</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/83903509</guid><author>kunpen8944</author><pubDate>Mon, 12 Nov 2018 15:37:12 +0800</pubDate><description><![CDATA[一、传统语言模型
语言模型可以计算一些系列的单词的概率P（w1，…,wT)

可以用来进行机器翻译

单词顺序：p(the	cat	is small)	&amp;amp;amp;gt; p(small the	is cat)
单词选择：p(walking	home after school)	&amp;amp;amp;gt; p(walking house	after school)


对于单词的概率估计一般是依据马尔可夫假设，我们认为只有单...]]></description><category></category></item><item><title><![CDATA[斯坦福大学-自然语言处理与深度学习（CS224n） 笔记 第七课 tensorflow教程]]></title><link>https://blog.youkuaiyun.com/kunpen8944/article/details/83833425</link><guid>https://blog.youkuaiyun.com/kunpen8944/article/details/83833425</guid><author>kunpen8944</author><pubDate>Thu, 08 Nov 2018 15:22:55 +0800</pubDate><description><![CDATA[1、什么是tensorflow？

针对数量计算的使用数据流图流程图开源软件库
由Google Brain团队开发的机器学习的研究
Tensorflow 是表现机器学习算法的接口，以及执行算法的执行器。


2、编程模型
主要思想：将数量计算表现为图（graph）

图节点表示是针对输入的操作（operation）以及输出
图边表示节点之间流动的张量（tensor）

变量（variable）是状...]]></description><category></category></item></channel></rss>