- 博客(71)
- 收藏
- 关注
RSS订阅原创 【阅读笔记】Cost-Effective and Stable Policy Optimization Algorithm for Uplift Modeling
The 2020 SIAM International Conference on Data Mining
2020-06-30 02:28:31
1472
原创 【论文笔记】Solving Billion-Scale Knapsack Problems
Solving Billion-Scale Knapsack ProblemsABSTRACT背包问题（Knapsack problems，KPs）在工业中很常见，但求解KPs是NP-hard问题，只能在较小的规模下求解。本文以一种稍微广义的形式研究了KPs，并证明通过分布式算法可以近似最优地求解KPs。提出的方法可以在现成的分布式计算框架（如MPI、Hadoop、Spark）中很容易地实现。
2020-06-28 02:23:21
1234
原创 A holistic approach to semi-supervised learning
Berthelot D, Carlini N, Goodfellow I, et al. Mixmatch: A holistic approach to semi-supervised learning[J]. arXiv preprint arXiv:1905.02249, 2019.https://github.com/samihaija/mixhop半监督学习的核心想法是利用无标注的数...
2019-10-16 17:10:32
505
原创 Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation
Fan S, Zhu J, Han X, et al. Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation[J]. 2019.https://github.com/googlebaba/KDD2019-MEIRecAbstract与传统的查询推荐和项目推荐不同，意图推荐是在用户打开应用程序时...
2019-10-14 18:50:12
3378
1
原创 一些关于树模型简单的总结
决策树：ID3（信息增益）C45（信息增益比）CART（纯度、gini系数）xgboost：Regularized objectiveJustified weighted quantile（presort）（extra/hist）Depth-wiselightGBM：GOSS（gbdt/goss/rf/dart）EFB（enable_buld）histleft-w...
2019-10-06 23:07:47
524
原创 【读书笔记】Deep Interest Evolution Network for Click-Through Rate Prediction
Zhou G, Mou N, Fan Y, et al. Deep Interest Evolution Network for Click-Through Rate Prediction[J]. arXiv preprint arXiv:1809.03672, 2018.https://github.com/mouna99/dienAbstract对于CTR预测模型，很有必要捕捉用户兴趣的...
2019-04-23 00:26:03
1359
原创 【学术】重构具有时间延迟相互作用的动力学网络
Reconstruction of dynamic networks with time-delayed interactions in presence of fast-varying noisesZhaoyang ZhangYang ChenYuanyuan MiGang HuNingbo University中科院脑网中心和国家模式识别实验室Chongqing ...
2019-04-13 22:49:16
535
原创 一元方程的求根公式
最近看了看方程的求解方法，感觉挺有意思的，加之最近新换了实习，又要写毕业论文，实在太忙，没时间写博客，就拿这个写一篇博客吧方程的求根公式要得到一元方程的求根公式，就得先定义什么是一元方程，什么是求根公式。方程是指等式连接的两个式子（相信大家都明白），一元方程是指方程中只含有一个未知数的方程。求根公式就是通过方程的系数进行有限次加减乘除开方运算得到的根的值的公式。重点是有限次加减乘除开方，这些运...
2019-03-10 15:12:52
7908
原创 【阅读笔记】Adversarially Regularized Autoencoders
Adversarially Regularized AutoencodersKim Y, Zhang K, Rush A M, et al. Adversarially regularized autoencoders[J]. arXiv preprint arXiv:1706.04223, 2017.GitHub: https://github.com/jakezhaojb/ARAEadv...
2019-02-26 14:02:09
2238
原创 【阅读笔记】Improved Training of Wasserstein GANs
GAN虽然是个强有力的生成模型，但是训练不稳定的缺点影响它的使用。刚刚提出的 Wasserstein GAN (WGAN) 使得 GAN 的训练变得稳定，但是有时也会产生很差的样本和不收敛。我们发现这些问题的原因常常是因为 weight clipping 来满足 判别器 的 Lipschitz constraint。我们把 weight clipping 转化为成 判别器 的梯度范数关于输入的惩罚。我们的方法优于 standard WGAN 和大部分的 GA
2019-02-25 18:32:03
5232
原创 【阅读笔记】Generative Adversarial Nets
GAN 是一个通过对抗过程来估计生成模型的框架。我们同事训练两个模型：a generative model G 来你和数据的概率分布，a discriminative model D来判断数据来自真实数据还是生成数据。训练是一个两人游戏的最大最小化过程，G最大化D判断错误的概率， D最大化判断正确的概率。在任意的函数空间内，G和D的解唯一存在，此时G完全你和训练数据的分布，D的的结果永远为1/2。当G和D被定义为multi-perceptrons时,可通过反向传播训练。
2019-02-25 16:28:43
677
原创 lucene 从0到1
Lucene[‘lusen] 是一个高性能的 java 全文检索工具包（引擎），现阶段 Apache 的顶级的开源项目，可基于它开发出各种全文搜索的应用。一个全文检索系统需要做的可以分为两部分，第一部分是建立索引，第二部分是进行检索。下面就结合代码对这两部分进行讲解。先创建一个由 maven 管理的 java 项目，在 pom 中田间 lucene 依赖<dependencies&gt...
2019-02-25 15:22:43
262
原创 【阅读笔记】Layer-wise relevance propagation for neural networks with local renormalization layers
本文是探究的是图片上的像素与最终结果的相关性。创新点是把 Layer-wise Relevance Propagation (LRP) 扩展到了非线性映射上。
2019-02-12 15:07:19
10549
3
原创 【阅读笔记】TextCNN
Kim Y . Convolutional Neural Networks for Sentence Classification[J]. Eprint Arxiv, 2014.本文介绍了一种使用 pre-trained word vectors 作为 CNN 输入的 sentence-level 分类器。模型结构比较简单，但也有不少巧思。TextCNN 的网络结构如下图所示，将句子中词向量拼...
2019-01-22 17:24:11
366
原创 【阅读笔记】Gradient Harmonized Single-stage Detector
Li B , Liu Y , Wang X . Gradient Harmonized Single-stage Detector[J]. 2018.https://github.com/libuyu/GHM_Detection本文认为影响单阶段检测器的训练的本质问题不是不同类别的样本数的差异，而是不同难度样本的分布不均衡。在训练过程中，每个样本产生一个梯度来更新模型的参数，不同样本对参数更新...
2019-01-22 16:26:46
2417
原创 【阅读笔记】k-nrm和Conv-knrm
【阅读笔记】End-to-End Neural Ad-hoc Ranking with Kernel PoolingXiong, Chenyan, et al. “End-to-end neural ad-hoc ranking with kernel pooling.” Proceedings of the 40th International ACM SIGIR Conference on ...
2019-01-14 17:51:43
5591
6
原创 【阅读笔记】On the Dimensionality of Word Embedding
Yin Z , Shen Y . On the Dimensionality of Word Embedding[J]. 2018.https://github.com/ziyin-dl/word-embedding-dimensionality-selection引入本文是探讨 Word Embedding 维度的 bias-variance trade-off，提出了 Pairwise ...
2019-01-08 14:07:24
1343
1
原创 【阅读笔记】Effects of hidden nodes on the reconstruction of bidirectional networks
Ching, Emily SC, and P. H. Tam. “Effects of hidden nodes on the reconstruction of bidirectional networks.” Physical Review E 98.6 (2018): 062318.本文考虑隐藏节点（某个节点不知道他的存在，也无法对他进行测量，这样的节点称为虑隐藏节点）对无向网络的影响。...
2019-01-07 17:00:29
406
原创 【阅读笔记】Text Matching as Image Recognition
Pang, Liang, et al. “Text Matching as Image Recognition.” AAAI. 2016.https://github.com/pl8787/MatchPyramid-TensorFlow概述：构建文本与文本的相似矩阵，把相似矩阵当作是图片，然后采用 CNN 对其进行分类二分类（相似与不相似）。构建相似矩阵 M：Indicator fun...
2019-01-04 14:27:00
848
原创 【阅读笔记】BERT 介绍和代码解读
最近玩了玩 BERT，做了一些实验，感觉还挺有意思的，写点东西记录一下，我会从粗到细，从简单到复杂，一层一层的说明白 BERT 的每一步。
2018-12-29 13:23:01
4489
原创 【阅读笔记】Deep SCNN Trained with STDP
本文提出了一个叫 SpiCNN 的神经网络，通过 Leaky-Integrate-and-Fire (LIF) neurons 作为类似激活函数的单元构造神经网络，通过 Spike Timing Dependent Plasticity (STDP) 进行权重学习。文章的整体感觉就是先把图片用 LoG filter 搞出边缘，是的输入的泊松过程的空间模式更加明显，在用 STDP 无监督学习前几层的模式，最后一层监督学习输出的权重。
2018-12-20 00:37:06
2486
1
原创 【阅读笔记】Inferring network connectivity from event timing patterns
Inferring network connectivity from event timing patternsJose C , Dimitra M , Marc T . Inferring Network Connectivity from Event Timing Patterns[J]. Physical Review Letters, 2018, 121(5):054101-.这篇文...
2018-12-17 11:17:46
428
原创 基于词相关性的排序算法
基于词相关性的排序算法BIM（binary independence model ，二元独立模型）和朴素贝叶斯类似，假设同一篇文档里出现的词之间没有关联，互相独立。Query 包含了若干词项 ttt。对于这个 query ，文档 doc 用一个向量表示d=(x1,x2,…,xn)d=(x_1,x_2,…,x_n)d=(x1,x2,…,xn)，词项ttt出现则xt=1x_t=1xt=1...
2018-12-11 14:44:59
1485
原创 【读书笔记】NeurIPS2018的两篇文章：The Tradeoffs of Large Scale Learning和Neural Ordinary Differential Equations
NeurIPS 2018 上的两篇文章的阅读笔记，一篇是获得 best paper 的 Neural Ordinary Differential Equations （陈天奇的文章），一篇是获经典论文奖的 The Tradeoffs of Large Scale Learning。
2018-12-06 13:31:31
2251
原创 词向量总结
词向量词向量是自然语言理解的重要工具，它的核心思想是把词映射到一个向量空间，并且这个向量空间很大程度上保留了原本的语义。词向量既可以作为对语料进行数据挖掘的基础，也可以作为更复杂的模型的输入，是现在 nlp 的主流工具。下面就总结一下 nlp 中经典的词向量方法。主要有：onehot、glove、cbow、skip-gram
2018-12-03 13:21:27
1793
原创 【阅读笔记】Entity Linking 相关
最近搞一些 Entity Linking 相关的事情看了看下 yahoo 的这两篇工作和开源的(FEL)[https://github.com/yahoo/FEL]Fast and Space-Efficient Entity Linking in QueriesABSTRACTEntity Linking一般需要在在下游的检索之前完成，typically within millisecon...
2018-11-27 11:50:25
4931
6
原创 【阅读笔记】Ranking Relevance in Yahoo Search
Ranking Relevance in Yahoo SearchYahoo! IncKDD2016 Industry track best paperABSTRACTqueries 和 URLs 之间的 semantic gap 是搜索的主要屏障。点击行为可以帮助我们提高相关性，但是对于大部分长尾 query，点击行为过于稀疏，而且噪声过大。为了增加相关性，时间地点的敏感性对于结果也是很...
2018-11-27 11:37:35
1656
原创 【阅读笔记】Real-time Personalization using Embeddings for Search Ranking at Airbnb
Real-time Personalization using Embeddings for Search Ranking at AirbnbAirbnb, IncKDD2018 ADS Track 的最佳论文METHODOLOGYListing Embeddings我们有用户浏览的 session 数据，使用类似 skip-gram model 的方法来 embed 每条 listi...
2018-11-27 11:20:49
1773
2
原创 【阅读笔记】Applying Deep Learning To Airbnb Search
Applying Deep Learning To Airbnb SearchAirbnb Inc.malay.haldar@airbnb.comABSTRACT最初使用 gradient boosted decision tree model 来做 search ranking ，搜索效果从刚开始的上升逐渐趋于稳定。本文讨论如何突破趋于平稳的效果。本文的目的不是讲述模型上的突破，而是如何...
2018-11-27 10:53:02
2127
3
原创 令人头疼的科研工作
我们引用Tass的文章：Tass, P. A., et al. “Long-lasting desynchronization in rat hippocampal slice induced by coordinated reset stimulation.” Physical Review E 80.1 (2009): 011902.Hauptmann, Christian, and P...
2018-11-13 12:01:46
461
原创 【阅读笔记】Dynamical time series analytics
前几天去厦门开会（DDAP10），全英文演讲加之大家口音都略重，说实话听演讲主要靠看ppt，摘出一片听懂的写篇博客纪念一下吧。主要讲了他的两个工作，一个是重构的工作，一个是预测的工作，分别发表在PRE和PNAS上。TimeSpeakerNo.Title14:30-15:00Wei LinST-07Dynamical time series analytics: From netw...
2018-11-08 12:35:36
742
原创 PageRank算法简介
谷歌的两位创始人，当时还是美国斯坦福大学 (Stanford University) 研究生的佩奇 (Larry Page) 和布林 (Sergey Brin) 开始了对网页排序问题的研究。他们的借鉴了学术界评判学术论文重要性的通用方法， 那就是看论文的引用次数。由此想到网页的重要性也可以根据这种方法来评价。于是PageRank的核心思想就诞生了，非常简单：1.如果一个网页被很多其他网页链接到的话说明这个网页比较重要2.被一个PageRank值很高的网页链接的网页PageRank的值也应该很高
2018-10-23 17:31:52
1174
原创 神经网络中依赖于上下文的处理的连续学习
今天下午陈阳师兄来讲他最近的工作，感觉挺巧妙的，主要是解决两个问题，神经网络会遗忘和连续学习的问题。它工作的题目是神经网络中依赖于上下文的处理的连续学习
2018-10-21 20:04:41
3111
8
原创 Connectionist Temporal Classification(CTC)、音识别模型小型综述和一个简易的语音识别模型的tensorflow实现
CTC是一种端到端的语音识别技术，他避免了需要字或者音素级别的标注，只需要句子级别的标注就可以进行训练，感觉非常巧妙，也很符合神经网络浪潮人们的习惯。特别是LSTM+CTC相较于之前的DNN+HMM，LSTM能够更好的捕捉输入中的重要的点（LSTM随着状态数目增加参数呈线性增加，而HMM会平方增加），CTC打破了隐马尔科夫的假设，把整个模型从静态分类变成了序列分类。语音识别的评价指标在语音识别...
2018-10-17 17:28:52
1440
原创 知识就是力量笔记
最近在忙着写毕业论文和适应新的实习工作，好久没写博客了，今天来水一篇虚的。前段时间没事的时候看完了罗振宇的【知识就是力量】，今天就来总结一下他讲的内容。我写的内容和它本身讲的内容略有不同，也做了删减。我对待这种“文青成功学”类的东西的态度是抽象的学习，感觉好多内容都是鲁迅说的“翻天妙手与众不同”的论调，照做肯定是不靠谱的，当作参考，拿来玩味一下还是挺有意思的。
2018-10-14 20:04:24
1481
原创 人工智能与安全论坛：智能与安全的融合与对抗
前几天随公司参加了互联网安全大会（ISC，Internet Security Conference），虽然只参加了半天的会议，感觉收获不。更重要的是偶遇师兄，人生无处不相逢的感觉，记录一下当时的会议内容也当作一下偶遇的纪念。2018.9.5 ISC - 人工智能与安全论坛：智能与安全的融合与对抗合作机构：中国人工智能学会人工智能与安全专业委员会（筹）论坛主席：Dawn Song主...
2018-09-23 19:08:18
2738
原创 机器学习的基本原理
要学习机器学习，首先得想明白机器学习为啥是可信的，下面就介绍几个我个人认为的机器学习的基础原理：1. Hoaffding定理：机器学习泛化误差上界；2.bias & variance & error：模型预测误差的成分；3.No Free Lunch Theorem：不存在在任何情况下准确性都好的模型；
2018-09-11 16:05:27
6034
1
原创 【阅读笔记】ON THE IMPORTANCE OF SINGLE DIRECTIONS FOR GENERALIZATION
作者： Ari S. Morcos, David G.T. Barrett, Neil C. Rabinowitz, & Matthew Botvinick DeepMind London, UKICLR 2018发布时间：22 May 2018这篇文章是来探究direction（可以简单理解为节点）的和某一类的对应程度和重要性程度的关系，试图给以神经网络学习出来的东西以...
2018-09-07 13:10:27
955
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人