<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Shingle_的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Shingle_</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Shingle_]]></copyright><item><title><![CDATA[自然语言处理中的Attention机制]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/83046454</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/83046454</guid><author>Shingle_</author><pubDate>Sun, 14 Oct 2018 13:21:29 +0800</pubDate><description><![CDATA[Attention in NLP
Advantage:

integrate information over time
handle variable-length sequences
could be parallelized

Seq2seq
Encoder–Decoder framework:
Encoder:
ht=f(xt,ht−1)
h_t = f(x_t, h_{t-1})
ht​...]]></description><category></category></item><item><title><![CDATA[文本分类]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/83046405</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/83046405</guid><author>Shingle_</author><pubDate>Sun, 14 Oct 2018 13:14:28 +0800</pubDate><description><![CDATA[应用：垃圾邮件分类、主题分类、情感分析
workflow：



https://developers.google.com/machine-learning/guides/text-classification/

model

使用字符级 ngram 的词袋模型很有效。不要低估词袋模型，它计算成本低且易于解释。
RNN 很强大。但你也可以用 GloVe 这样的外部预训练嵌入套在 RNN 模型上...]]></description><category></category></item><item><title><![CDATA[关于广告、推荐中的CTR的学于思]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/83003432</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/83003432</guid><author>Shingle_</author><pubDate>Wed, 10 Oct 2018 21:08:47 +0800</pubDate><description><![CDATA[CTR
CTR预测就是对用户是否点击广告进行预测，其实可以看成二分类问题，即点和不点。
logistics回归(LR)：


logistics输出的是概率，可以较为直观的解释用户点击广告的几率


计算目标函数的复杂度O(N)，计算速度快，所以比较适合处理大数据


没有考虑特征之间的相关性，没有特征进行组合


为了提高模型性能，在模型训练之前，需要做很多的特征工程


GDBT+LR:
使用...]]></description><category></category></item><item><title><![CDATA[关于信息检索（IR）、搜索引擎的学与思]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/83001184</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/83001184</guid><author>Shingle_</author><pubDate>Wed, 10 Oct 2018 18:06:37 +0800</pubDate><description><![CDATA[
平台建设（工程、数据、算法）
面对大数据业务挑战，AI·OS至多能起到30%的作用，随后是算法解决30%+，其余的靠产品和机缘，只不过AI·OS的30%是个前提条件，AI·OS发展的核心线索是优化算法迭代效率。

TPP推荐业务平台、RTP深度学习预测引擎、HA3搜索召回引擎、DII推荐召回引擎、iGraph图查询引擎
集群物理资源的调度任务：中台容器和隔离技术与搜索工程交汇之地，更是模型训练P...]]></description><category></category></item><item><title><![CDATA[关于问答系统（Q&A）、对话系统（Chatbot）的学与思]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/83001147</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/83001147</guid><author>Shingle_</author><pubDate>Wed, 10 Oct 2018 18:03:21 +0800</pubDate><description><![CDATA[AnyQ
AnyQ(ANswer Your Questions) 开源项目主要包含面向FAQ集合的问答系统框架、文本语义匹配工具SimNet。（检索式回答）
AnyQ系统框架主要由Question Analysis、Retrieval、Matching、Re-Rank等部分组成，框架中包含的功能均通过插件形式加入，如Analysis中的中文切词，Retrieval中的倒排索引、语义索引，Match...]]></description><category></category></item><item><title><![CDATA[关于智能运维（AIOps）的学与思]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/83000798</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/83000798</guid><author>Shingle_</author><pubDate>Wed, 10 Oct 2018 17:43:11 +0800</pubDate><description><![CDATA[AIOps
降低运维成本，提升系统效率，如：

异常检测，故障发现，异常定位，异常报警聚合，异常根因分析，快速止损，异常自动修复
故障预测，容量预测、智能扩容（阈值动态调整，弹性扩缩），趋势预测，热点分析

AIOps要解决的是“系统+算法”问题。解决任何一个AIOps中的模块或场景，都需要有“AIOps架构师”把复杂的场景和需求拆解成具体的功能模块： “眼”、“手”、“脑”。

“眼”解决那些通...]]></description><category></category></item><item><title><![CDATA[深度学习在搜索广告查询词关键字匹配中的应用]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82803337</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82803337</guid><author>Shingle_</author><pubDate>Fri, 21 Sep 2018 16:22:59 +0800</pubDate><description><![CDATA[搜索引擎里的广告系统
Search Advertising
Different names: Search ads; Paid search; Sponsored search
Ad types: Text ads; Product ads






Ads Selection
将Query跟keywords匹配。


传统匹配方法：

Deep Structured Semantic Mode...]]></description><category></category></item><item><title><![CDATA[编码器—解码器（seq2seq）+ Attention]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82529487</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82529487</guid><author>Shingle_</author><pubDate>Sat, 08 Sep 2018 14:54:10 +0800</pubDate><description><![CDATA[输入和输出都可以是不定长序列，例如机器翻译、图像描述



在训练数据集中，我们可以在每个句子后附上特殊符号“”（end of sequence）表示序列的终止。

编码器

编码器的作用是把一个不定长的输入序列变换成一个定长的背景变量 c，并在该背景变量中编码输入序列信息。常用的编码器是循环神经网络。

循环神经网络隐藏层的变换: 
ht=f(xt,ht−1).ht=f(xt,ht−1).
{h...]]></description><category></category></item><item><title><![CDATA[文本处理——词向量]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82529416</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82529416</guid><author>Shingle_</author><pubDate>Sat, 08 Sep 2018 14:48:17 +0800</pubDate><description><![CDATA[Word2Vec

Google



连续词袋模型（continuous bag of words, CBOW)

连续词袋模型用一个中心词在文本序列前后的背景词来预测该中心词



∏t=1TP(w(t)∣w(t−m),…,w(t−1),w(t+1),…,w(t+m)).∏t=1TP(w(t)∣w(t−m),…,w(t−1),w(t+1),…,w(t+m)).
\prod_{t=1}^T  \...]]></description><category></category></item><item><title><![CDATA[分词]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82502369</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82502369</guid><author>Shingle_</author><pubDate>Fri, 07 Sep 2018 20:41:14 +0800</pubDate><description><![CDATA[对于西方拼音语言来说，从词之间由明确的分界符，而很多亚洲语言（如汉语、日语、韩语、泰语）词之间没有明确的分界符，因此需要先对句子进行分词，才能做进一步的自然语言处理（也适用于英文词组的分割、或者手写识别，平板电脑、智能手机手写时单词间的空格可能不清楚）。

分词的输入是一串词，分词的输出是用分界符分割的一串词。

分词的不一致性问题：


越界型错误：“北京大学生” -&amp;gt; “北京大学”、“生...]]></description><category></category></item><item><title><![CDATA[RNN-LSTM-GRU]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82469351</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82469351</guid><author>Shingle_</author><pubDate>Thu, 06 Sep 2018 22:28:37 +0800</pubDate><description><![CDATA[循环神经网络（Recurrent Neural Network, RNN）



假设 Xt∈Rn×dXt∈Rn×d{X}_t \in \mathbb{R}^{n \times d} 是序列中时间步 t 的小批量输入 Ht∈Rn×hHt∈Rn×h{H}_t \in \mathbb{R}^{n \times h} 该时间步的隐藏层变量。跟多层感知机不同在于这里我们保存上一时间步的隐藏变量 Ht−1H...]]></description><category></category></item><item><title><![CDATA[文本处理——语言模型]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82392017</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82392017</guid><author>Shingle_</author><pubDate>Tue, 04 Sep 2018 23:04:50 +0800</pubDate><description><![CDATA[统计语言模型

Language modeling:



P(w1,w2,…,wT)=∏t=1TP(wt∣w1,…,wt−1)P(w1,w2,…,wT)=∏t=1TP(wt∣w1,…,wt−1)
\mathbb{P}(w_1, w_2, \ldots, w_T) = \prod_{t=1}^T \mathbb{P}(w_t \mid w_1, \ldots, w_{t-1}) 


举个例子：
...]]></description><category></category></item><item><title><![CDATA[深度学习中的优化算法和策略]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82355260</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82355260</guid><author>Shingle_</author><pubDate>Mon, 03 Sep 2018 21:28:08 +0800</pubDate><description><![CDATA[绝大多数深度学习中的目标函数都很复杂。因此，很多优化问题并不存在解析解，而需要使用基于数值方法的优化算法找到近似解。这类优化算法一般通过不断迭代更新解的数值来找到近似解。我们讨论的优化算法都是这类基于数值方法的算法。

非凸优化的阻碍：局部最小值、鞍点。



梯度下降



批量梯度下降 （batch gradient descent）

在每一轮自变量迭代里，梯度下降使用整个训练数据集来计算梯...]]></description><category></category></item><item><title><![CDATA[迁移学习（Transfer Learning）]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82354799</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82354799</guid><author>Shingle_</author><pubDate>Mon, 03 Sep 2018 20:57:06 +0800</pubDate><description><![CDATA[将从源数据集学到的知识迁移到目标数据集上



微调（fine tuning）

微调通过将模型部分权重初始化成在源数据集上预训练的模型权重，从而将模型在源数据集上学到的知识迁移到目标数据上。


在源数据（例如 ImageNet）上训练一个神经网络 A。
创建一个新的神经网络 B，它复制了 A 上除了输出层外的所有模型参数。我们假设这些模型参数含有源数据上学习到的知识，且这些知识同样适用于目标数...]]></description><category></category></item><item><title><![CDATA[分布式机器学习]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82319913</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82319913</guid><author>Shingle_</author><pubDate>Sun, 02 Sep 2018 21:55:50 +0800</pubDate><description><![CDATA[三个特点

可扩展。

可扩展的意思是“投入更多的机器，能处理更大的数据”。而传统的并行计算要的是：“投入更多机器，数据大小不变，计算速度更快”。这是我认识中“大数据”和传统并行计算研究目标不同的地方。如果只是求速度快，那么multicore和GPU会比分布式机器学习的ROI更高。

有一个框架（比如MPI或者MapReduce或者自己设计的），支持fault recovery。Fault rec...]]></description><category></category></item><item><title><![CDATA[推荐系统初探]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82290427</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82290427</guid><author>Shingle_</author><pubDate>Sat, 01 Sep 2018 20:30:17 +0800</pubDate><description><![CDATA[推荐系统样例：


基于对用户兴趣的预测结果，为读者推荐新闻报道、短视频等。（如：今日头条）
基于顾客过去的购物或商品搜索历史，为在线商店的顾客推荐他们可能要买的商品。（如：亚马逊）


长尾：实体店的货架空间有限，只能给顾客展示所有存在商品的很小一部分，而在线商店能展示任何可用商品 
—— 在线销售商对于传统实体销售商的优势。 同样，也是由于长尾的存在，信息爆炸，人们无法看到所有的东西，推荐系统...]]></description><category></category></item><item><title><![CDATA[卷积神经网络在计算机视觉中的演进]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82263400</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82263400</guid><author>Shingle_</author><pubDate>Fri, 31 Aug 2018 23:40:44 +0800</pubDate><description><![CDATA[LeNet

卷积神经网络



net = nn.Sequential()
net.add(
    nn.Conv2D(channels=6, kernel_size=5, activation='sigmoid'),
    nn.MaxPool2D(pool_size=2, strides=2),
    nn.Conv2D(channels=16, kernel_size=5, acti...]]></description><category></category></item><item><title><![CDATA[卷积神经网络中的算术问题（Convolution  arithmetic）]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82263375</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82263375</guid><author>Shingle_</author><pubDate>Fri, 31 Aug 2018 23:37:20 +0800</pubDate><description><![CDATA[在卷积神经网络中，一个卷积层的输出形状受它的 输入形状、卷积核大小、补零（zero padding）以及步长（strides） 这四个因素的影响。全连接网络没有这个限制，它的输出形状独立于输入形状，而这也几乎是卷积神经网络中最令人怯步的地方了。

卷积操作在4D张量上，例如


Theano：filter_shape（output_channels, ++input_channels, filte...]]></description><category></category></item><item><title><![CDATA[Web广告--广告定向]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82119218</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82119218</guid><author>Shingle_</author><pubDate>Mon, 27 Aug 2018 21:14:16 +0800</pubDate><description><![CDATA[广告定向



广告再营销（重定向）

效果很好的广告定向方式。

再营销是利用用户在互联网上的行为进行精准定向的广告策略。其中的行为可能包含浏览网页、搜索商品、查看感兴趣的商品信息、将有强烈购买意图的商品放入购物车等等，而“再”的意思则是指将用户感兴趣的商品信息以广告的形式再次展现在他面前。如到访再营销、搜索再营销、广告点击再营销等。

简单的cookie（用于标示用户的ID）植入可以用于ret...]]></description><category></category></item><item><title><![CDATA[计算广告]]></title><link>https://blog.youkuaiyun.com/Shingle_/article/details/82119205</link><guid>https://blog.youkuaiyun.com/Shingle_/article/details/82119205</guid><author>Shingle_</author><pubDate>Mon, 27 Aug 2018 21:12:57 +0800</pubDate><description><![CDATA[广告是互联网行业最清晰的一种商业模式，也是大数据时代被热捧的宠儿。计算广告学旨在找到“情境”、“用户”和“广告”之间的最佳匹配，它将计算理论和经济学结合在一起，涉及博弈论、自然语言处理、机器学习等多门学科的融合。

斯坦福大学对计算广告学的描述是：“计算广告学是一个综合学科，涉及大规模搜索、文本分析、信息检索、统计建模、机器学习、分类、优化和微观经济学。计算广告的核心问题是要找到在给定的环境下，用...]]></description><category></category></item></channel></rss>