张俊林博客-优快云博客

原创深度学习枕边书

/*本文可以随便转载，转载时请注明作者及文章出处*/ 作者：新浪微博张俊林所谓“深度学习枕边书”，我的目的是希望能够找到初学者能够了解深度学习的最小知识集合，也就是介绍那些最重要必须要了解的技术点。目标一个方面是知识最小集，以节省入门者的时...

2018-08-25 15:50:12 29059 3

原创博主新书：《大数据日知录：架构与算法》目录

4目录编辑第0 章当谈论大数据时我们在谈什么................ 10.1 大数据是什么.......................... 20.2 大数据之翼：技术范型转换......................................... 40.3 大数据商业炼金术................................ 6

2014-09-16 09:28:29 10956 3

原创放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较

author:张俊林 /*可以转载，转载请标明作者及知乎的出处*/如果看不清图片，请转到：放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较在辞旧迎新的时刻，大家都在忙着回顾过去一年的成...

2019-01-15 22:39:40 29149 14

原创从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

本文可以任意转载，转载时请标明作者和出处。张俊林 2018-11-11（如果图片浏览有问题可以转至：知乎版本）Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Be...

2018-11-11 20:24:32 45503 5

原创深度学习中的Normalization模型

/*本文可以随便转载，转载时请注明作者及文章出处*/ 作者：新浪微博张俊林 Batch Normalization（简称BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸...

2018-08-28 21:33:05 19066 13

Facebook是目前世界上最著名的社交网站，月活跃用户已超过10亿，每日登陆网站的用户超过6亿。如果从数据抽象的角度来看，Facebook的社交图不仅包括好友之间的关系，还包括人和实体以及实体之间的关系，每个用户，每个页面，每张图片，每个应用，每个地点以及每个评论都可以作为独立实体，用户喜欢某个页面则建立了用户和页面之间的关系，用户在某个地点签到则建立了用户和地点之间的关系……如果将每个实体...

2018-07-15 09:54:10 13090 1

原创深度学习在CTR预估任务中的应用

2018-05-11 22:57:08 8088

原创 2017年AI技术盘点：关键进展与趋势

2018-02-04 18:01:15 3662

原创通过不断重置学习率来逃离局部极值点

本文提出了一种利用不断调大学习率的方法试图跳出SGD优化过程中的局部极小值或者鞍点的方法，并提出了两种具体的方法：随机漫步起跳法和历史最优起跳法，实验证明相对常规优化方法有一定性能提升。

2017-12-10 22:46:56 21835 1

原创深度学习中的注意力机制(2017版)

2017-12-10 21:57:17 165827 43

原创机器码农：深度学习自动编程

2017-06-03 19:03:10 55315 10

原创极深网络（ResNet/DenseNet）: Skip Connection为何有效及其它

Residual Network通过引入Skip Connection到CNN网络结构中，使得网络深度达到了千层的规模，并且其对于CNN的性能有明显的提升，但是为何这个新结构会发生作用？这个问题其实是个挺重要的问题。本PPT归纳了极深网络相关的工作，包括ResNet为何有效以及目前的一些可能下的结论。

2017-03-28 16:06:39 58089 2

原创 NeuralFinder:集成人工生命和遗传算法自动发现神经网络最优结构

如何让机器自动针对问题设计出好的神经网络结构？本文介绍了一种利用人工生命和遗传算法自动发现深度学习中神经网络最优结构的方法，实验结果表明，这种方法通过少量计算可以自动发现和人类手工设计出较好的神经网络结构相近性能的神经网络。

2017-03-18 10:04:01 20948 8

原创微博环境下利用综合策略构建推荐引擎

本文内容是2012年在新浪微博的工作，是关于微群综合推荐系统的PPT,曾在QCON2013上海分享过。

2016-11-22 20:27:38 4091

原创 AlphaGo：人工智能与深度学习

本文介绍了Alphago里使用到的关键技术，包括蒙特卡洛搜索树和深度学习算法。

2016-10-31 19:53:02 8312 1

原创深度学习解决机器阅读理解任务的研究进展

本文是对深度学习在机器阅读理解领域最近进展的综述文章。

2016-10-16 19:05:36 33455 2

原创机器阅读理解中文章和问题的深度学习表示方法

文本归纳了机器阅读理解任务中文章和问题的常见神经网络表示方法。

2016-09-21 18:38:22 15755 1

原创序列标注问题中将分类标签引入RNN网络结构的尝试

本文讲了讲我们在解决序列标注问题中将分类标签引入RNN网络结构的一次不成功的尝试。

2016-09-06 19:32:29 12679

原创我爱计算机：张俊林专访

一篇专访，谈谈关于人工智能的行业经验及一些看法。

2016-08-18 18:55:57 12368

原创聊天机器人中对话模板的高效匹配方法

本文介绍了聊天机器人中一种简单高效的模板管理与匹配系统。

2016-08-11 19:38:29 39017 8

原创深度学习在搜索和推荐领域的应用

2016-07-27 20:02:02 51472 1

原创使用深度学习打造智能聊天机器人

2016-07-13 20:22:41 50173 4

原创 CNN和RNN中如何引入BatchNorm

在上一篇文章介绍了BatchNorm基本思路后，本文介绍CNN和RNN中如何引入BatchNorm及目前可以得出的一些研究结论。

2016-06-01 19:37:35 42905 4

原创 Batch Normalization导读

2016-05-24 19:08:07 72877 41

原创新浪微博用户兴趣建模系统架构

本文介绍了2011年左右时间点时新浪微博的用户兴趣模型的整体技术架构。

2016-05-19 18:26:52 16686

原创 Paxos协议基本原理

本文介绍了分布式系统维护数据一致性中非常重要且基础的技术Paxos协议的基本原理。

2016-05-10 19:13:51 25762 1

原创使用Word Embedding构造简洁有效的文本摘要系统

本文介绍了使用Word Embedding进行摘要提取的一种非常简洁的方法。

2016-04-28 19:27:54 31910 3

原创深度学习计算模型中“门函数（Gating Function）”的作用

本文通俗易懂地介绍了深度学习中“门函数”的主要作用及其在LSTM中是如何组合使用的。

2016-04-21 18:20:18 53034 11

原创使用Encoder-Decoder模型自动生成对联的思路

本文介绍了如何利用Encoder-Decoder框架来建立对联自动生成系统的主要思路。

2016-04-13 18:21:52 31876 1

原创自然语言处理中CNN模型几种常见的Max Pooling操作

2016-04-07 19:00:02 75579 14

原创多级神经网络结构表达文档语义性能更好吗

推导和表示一篇文章的语义对于自然语言处理来说是个很基础也很重要的工作。推导文档语义可以用无监督的方法，也可以用有监督的方法。所谓“无监督的方法”。本文探讨了多层文档结构和单层文档结构神经网络的效果。

2016-03-31 18:33:42 7233

原创穷人的语义处理工具箱之二：语义编辑距离

本文介绍了一种语义版本的编辑距离。

2016-03-24 18:40:38 8067 4

原创使用RNN解决句子对匹配问题的常见网络结构

除了序列标注问题外，句子对匹配（Sentence Pair Matching）问题也是NLP中非常常见的一类问题，所谓“句子对匹配”，就是说给定两个句子S1和S2，任务目标是判断这两个句子是否具备某种类型的关系。

2016-03-18 19:45:33 12504 2

原创使用深度RNN模型构建语义搜索引擎

本文探讨了几种使用RNN来做语义搜索的可能网络结构。

2016-03-14 18:49:33 12774 1

原创使用RNN解决NLP中序列标注问题的通用优化思路

2016-02-23 19:11:46 34540 8

原创使用深度双向LSTM模型构造社区问答系统

本文探讨了如何使用深度双向LSTM网络来解决问答社区的问题。

2016-02-15 18:17:17 34549 3

原创为何谷歌围棋AI AlphaGo可能会把李世石击溃

谷歌DeepMind开发的人工智能围棋程序AlphaGo以5:0的压倒性优势击败了欧洲围棋冠军、专业二段棋手Fan Hui，这是最近一周来最火爆的新闻了。16年3月份AlphaGo会和最近10年平均成绩表现最优秀的韩国九段、世界冠军李世石进行对弈，这无疑也是最吸引眼球的一场人机世纪大战，如果此役AlphaGo获胜，这意味着人工智能真正里程碑式的胜利，从此起码在智力博弈类游戏范围内，碳基体人类将无法抵挡硅基类机器的狂风骤雨，不知这是该令人惊恐还是令人兴奋呢？

2016-02-03 21:08:05 14351 2

原创以Attention Model为例谈谈两种研究创新模式

2016-01-26 00:18:00 35467 6

原创自然语言处理中的Attention Model：是什么及为什么

2016-01-20 18:26:02 116535 37

原创深度学习与自然语言处理之四：卷积神经网络模型（CNN）

深度学习与自然语言处理之四：卷积神经网络模型（CNN）

2016-01-14 18:35:24 23907 3

空空如也

空空如也