深度学习
关注
分享
扫一扫
文章平均质量分 79
张俊林博客
中科院软件所博士学位，研究领域：搜索引擎，自然语言处理,社交挖掘，推荐系统与机器学习。现在从事相关的开发与研究。
展开
-
深度学习在自然语言处理的应用（Version 0.76）
深度学习，自然语言处理原创 2014-12-05 22:57:25 · 6346 阅读 · 1 评论 -
使用深度学习打造智能聊天机器人
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 （想更系统地学习深度学习知识？请参考：深度学习枕边书） 聊天机器人（也可以称为语音助手、聊天助手、对话机器人...原创 2016-07-13 20:22:41 · 50177 阅读 · 6 评论 -
深度学习在搜索和推荐领域的应用
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 深度学习在搜索和推荐领域的应用 （想更系统地学习深度学习知识？请...原创 2016-07-27 20:02:02 · 51475 阅读 · 3 评论 -
我爱计算机：张俊林专访
一篇专访，谈谈关于人工智能的行业经验及一些看法。原创 2016-08-18 18:55:57 · 12368 阅读 · 0 评论 -
序列标注问题中将分类标签引入RNN网络结构的尝试
本文讲了讲我们在解决序列标注问题中将分类标签引入RNN网络结构的一次不成功的尝试。原创 2016-09-06 19:32:29 · 12679 阅读 · 2 评论 -
机器阅读理解中文章和问题的深度学习表示方法
文本归纳了机器阅读理解任务中文章和问题的常见神经网络表示方法。原创 2016-09-21 18:38:22 · 15755 阅读 · 2 评论 -
深度学习解决机器阅读理解任务的研究进展
本文是对深度学习在机器阅读理解领域最近进展的综述文章。原创 2016-10-16 19:05:36 · 33456 阅读 · 9 评论 -
AlphaGo：人工智能与深度学习
本文介绍了Alphago里使用到的关键技术，包括蒙特卡洛搜索树和深度学习算法。原创 2016-10-31 19:53:02 · 8314 阅读 · 3 评论 -
NeuralFinder:集成人工生命和遗传算法自动发现神经网络最优结构
如何让机器自动针对问题设计出好的神经网络结构？本文介绍了一种利用人工生命和遗传算法自动发现深度学习中神经网络最优结构的方法，实验结果表明，这种方法通过少量计算可以自动发现和人类手工设计出较好的神经网络结构相近性能的神经网络。原创 2017-03-18 10:04:01 · 20948 阅读 · 12 评论 -
极深网络（ResNet/DenseNet）: Skip Connection为何有效及其它
Residual Network通过引入Skip Connection到CNN网络结构中，使得网络深度达到了千层的规模，并且其对于CNN的性能有明显的提升，但是为何这个新结构会发生作用？这个问题其实是个挺重要的问题。本PPT归纳了极深网络相关的工作，包括ResNet为何有效以及目前的一些可能下的结论。原创 2017-03-28 16:06:39 · 58094 阅读 · 4 评论 -
机器码农：深度学习自动编程
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ 张俊林 （...原创 2017-06-03 19:03:10 · 55316 阅读 · 10 评论 -
深度学习中的注意力机制(2017版)
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ 张俊林 （...原创 2017-12-10 21:57:17 · 165856 阅读 · 43 评论 -
通过不断重置学习率来逃离局部极值点
本文提出了一种利用不断调大学习率的方法试图跳出SGD优化过程中的局部极小值或者鞍点的方法，并提出了两种具体的方法：随机漫步起跳法和历史最优起跳法，实验证明相对常规优化方法有一定性能提升。原创 2017-12-10 22:46:56 · 21837 阅读 · 2 评论 -
2017年AI技术盘点：关键进展与趋势
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ 张俊林 （本文20原创 2018-02-04 18:01:15 · 3663 阅读 · 0 评论 -
深度学习在CTR预估任务中的应用
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ 张俊林 （本文是2017年底Archsummit全球架构师峰会演讲内...原创 2018-05-11 22:57:08 · 8088 阅读 · 1 评论 -
深度学习中的Normalization模型
/*本文可以随便转载，转载时请注明作者及文章出处*/ 作者：新浪微博 张俊林 Batch Normalization（简称BN）自从提出之后，因为效果特别好，很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好，但是也存在一些局限和问题，诸...原创 2018-08-28 21:33:05 · 19071 阅读 · 12 评论 -
深度学习枕边书
/*本文可以随便转载，转载时请注明作者及文章出处*/ 作者：新浪微博 张俊林 所谓“深度学习枕边书”，我的目的是希望能够找到初学者能够了解深度学习的最小知识集合，也就是介绍那些最重要必须要了解的技术点。目标一个方面是知识最小集，以节省入门者的时...原创 2018-08-25 15:50:12 · 29059 阅读 · 3 评论 -
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
本文可以任意转载，转载时请标明作者和出处。 张俊林 2018-11-11（如果图片浏览有问题可以转至：知乎版本）Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Be...原创 2018-11-11 20:24:32 · 45504 阅读 · 12 评论 -
CNN和RNN中如何引入BatchNorm
在上一篇文章介绍了BatchNorm基本思路后，本文介绍CNN和RNN中如何引入BatchNorm及目前可以得出的一些研究结论。原创 2016-06-01 19:37:35 · 42910 阅读 · 8 评论 -
深度学习计算模型中“门函数（Gating Function）”的作用
本文通俗易懂地介绍了深度学习中“门函数”的主要作用及其在LSTM中是如何组合使用的。原创 2016-04-21 18:20:18 · 53039 阅读 · 11 评论 -
深度学习与自然语言处理之五：从RNN到LSTM
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 （想更系统地学习深度学习知识？请参考：深度学习枕边书）大纲如下：1.RNN2.LSTM...原创 2015-12-30 19:01:16 · 59156 阅读 · 2 评论 -
自然语言处理中的Attention Model：是什么及为什么
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 （想更系统地学习深度学习知识？请参考：深度学习枕边书）要是关注深度学习在自然...原创 2016-01-20 18:26:02 · 116547 阅读 · 37 评论 -
利用卷积神经网络（CNN）构造社区问答系统
问答社区算是一类已经比较成熟的互联网应用了，国外的比如Quora、StackOverflow，国内的比如老派的百度知道，新一代的知乎，都算是代表性的社交类问答社区。问答社区本质上就是个人肉知识库，通过一段时间的积累，会累积相当多以<问题，答案>方式存在的知识。原创 2015-12-21 20:25:21 · 21050 阅读 · 15 评论 -
以Attention Model为例谈谈两种研究创新模式
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 各位观众朋友好，也许此刻您刚打开电梯…….读这一篇之前，请您最好先拜读一下本篇的前传：文本处理中的Attention Model：是什么及为什么。因为那里有些背景知...原创 2016-01-26 00:18:00 · 35472 阅读 · 21 评论 -
深度学习与自然语言处理之四：卷积神经网络模型（CNN）
深度学习与自然语言处理之四：卷积神经网络模型（CNN）原创 2016-01-14 18:35:24 · 23907 阅读 · 17 评论 -
使用深度双向LSTM模型构造社区问答系统
本文探讨了如何使用深度双向LSTM网络来解决问答社区的问题。原创 2016-02-15 18:17:17 · 34552 阅读 · 10 评论 -
为何谷歌围棋AI AlphaGo可能会把李世石击溃
谷歌DeepMind开发的人工智能围棋程序AlphaGo以5:0的压倒性优势击败了欧洲围棋冠军、专业二段棋手Fan Hui，这是最近一周来最火爆的新闻了。16年3月份AlphaGo会和最近10年平均成绩表现最优秀的韩国九段、世界冠军李世石进行对弈，这无疑也是最吸引眼球的一场人机世纪大战，如果此役AlphaGo获胜，这意味着人工智能真正里程碑式的胜利，从此起码在智力博弈类游戏范围内，碳基体人类将无法抵挡硅基类机器的狂风骤雨，不知这是该令人惊恐还是令人兴奋呢？原创 2016-02-03 21:08:05 · 14352 阅读 · 18 评论 -
使用RNN解决句子对匹配问题的常见网络结构
除了序列标注问题外，句子对匹配（Sentence Pair Matching）问题也是NLP中非常常见的一类问题，所谓“句子对匹配”，就是说给定两个句子S1和S2，任务目标是判断这两个句子是否具备某种类型的关系。原创 2016-03-18 19:45:33 · 12505 阅读 · 3 评论 -
多级神经网络结构表达文档语义性能更好吗
推导和表示一篇文章的语义对于自然语言处理来说是个很基础也很重要的工作。推导文档语义可以用无监督的方法，也可以用有监督的方法。所谓“无监督的方法”。本文探讨了多层文档结构和单层文档结构神经网络的效果。原创 2016-03-31 18:33:42 · 7233 阅读 · 0 评论 -
使用RNN解决NLP中序列标注问题的通用优化思路
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 （想更系统地学习深度学习知识？请参考：深度学习枕边书）序列标注问题应该说是自然语言处理中最...原创 2016-02-23 19:11:46 · 34545 阅读 · 23 评论 -
穷人的语义处理工具箱之二：语义编辑距离
本文介绍了一种语义版本的编辑距离。原创 2016-03-24 18:40:38 · 8067 阅读 · 4 评论 -
使用深度RNN模型构建语义搜索引擎
本文探讨了几种使用RNN来做语义搜索的可能网络结构。原创 2016-03-14 18:49:33 · 12776 阅读 · 4 评论 -
自然语言处理中CNN模型几种常见的Max Pooling操作
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 （想更系统地学习深度学习知识？请参考：深度学习枕边书）CNN是目前自然语言处理中和RNN并驾齐驱的两种最...原创 2016-04-07 19:00:02 · 75584 阅读 · 14 评论 -
使用Encoder-Decoder模型自动生成对联的思路
本文介绍了如何利用Encoder-Decoder框架来建立对联自动生成系统的主要思路。原创 2016-04-13 18:21:52 · 31877 阅读 · 4 评论 -
使用Word Embedding构造简洁有效的文本摘要系统
本文介绍了使用Word Embedding进行摘要提取的一种非常简洁的方法。原创 2016-04-28 19:27:54 · 31912 阅读 · 11 评论 -
Batch Normalization导读
/* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 （想更系统地学习深度学习知识？请参考：深度学习枕边书）Batch Normalizatio...原创 2016-05-24 19:08:07 · 72877 阅读 · 41 评论 -
放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较
author:张俊林 /*可以转载，转载请标明作者及知乎的出处*/如果看不清图片，请转到：放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较 在辞旧迎新的时刻，大家都在忙着回顾过去一年的成...原创 2019-01-15 22:39:40 · 29154 阅读 · 14 评论