JIN JI 2013.12.24

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.youkuaiyun.com/v_JULY_v/article/details/40738211从拉普拉斯矩阵说到谱聚类0 引言11月1日上午，机器学习班第7次课，邹讲聚类（PPT），其中的谱聚类引起了自己的兴趣，邹从最基本的概念：单位向量、两个...

本文地址：http://blog.keras.io/how-convolutional-neural-networks-see-the-world.html本文作者：Francois Chollet使用Keras探索卷积网络的滤波器本文中我们将利用Keras观察CNN到底在学些什么，它是如何理解我们送入的训练图片的。我们将使用Keras来对滤波器的激活值进行可视化。本文

机器学习、数据挖掘工作中，数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时，数据预处理的效果也直接影响了后续模型能否有效的工作。然而，目前的大部分学术研究主要集中在模型的构建、优化等方面，对数据预处理的理论研究甚少，可以说，很多数据预处理工作仍然是靠工程师的经验进行的。从业数据建模/挖掘工作也有近2年的时间，在这里结合谈一谈数据预处理中归一化方法。

HInton第9课，这节课没有放论文进去。。。。。如有不对之处还望指正。话说hinton的课果然信息量够大。推荐认真看PRML《Pattern Recognition and Machine Learning》。摘自PRML中22页。正文：一、提高泛化方法的概述        在这部分中，将会介绍通过减少（当一个模型的数据表现能力大大的超过训练时提供的数

https://github.com/synckey/tensorflow_lstm_ctc_ocr代码需要简单修改（tensorflow 0.9）loss = tf.nn.ctc_loss(inputs=logits,labels=targets,sequence_length=seq_len)#修改 # loss = tf.contrib.ctc.ctc_los

原文：http://www.hankcs.com/nlp/hmm-and-segmentation-tagging-named-entity-recognition.htmlHMM（隐马尔可夫模型）是用来描述隐含未知参数的统计模型，举一个经典的例子：一个东京的朋友每天根据天气{下雨，天晴}决定当天的活动{公园散步,购物,清理房间}中的一种，我每天只能在twitter上看到她发的推“啊，我前

其中一种，更换评判方式confusion MatrixPrecition & RecallF1 -score （F-score）

http://sebastianruder.com/optimizing-gradient-descent/

014-02-20 11:04 1384人阅读 评论(0) 收藏 举报目录(?)最近搜了几篇BEAM SEARCH 束搜索的文章，这篇最直白易懂，并有示例的详细步骤图解，比维基百科的更为合适，因此拿在这里，供参考。原文链接：Beam Search Algorithm (Draft by Andrew Jungwirth)束搜索算法本文目标：

1.比较基本的入门级资料，从例子讲起，好理解learningtensorflow.com/index.html

本人硬件环境 titanx ubuntu 14.04 win7双系统参考：http://blog.youkuaiyun.com/zhjm07054115/article/details/51811495Ubuntu 15.04 + CUDA7.5 + Caffe 配置笔记一、Ubuntu 安装    安装Ubuntu 15.04x64 + Win7x64 双系统，让二者在启动引导上相互

TIPS:1.开始之前先要查看显卡驱动是否装好。在系统终端输入命令：glxinfo｜　grep rendering如果出现“direct rendering:yes”,则已安装。

参考：http://blog.youkuaiyun.com/ubunfans/article/details/477243412016.06.10 update cuda 7.5 and cudnn v52015.10.23更新：修改了一些地方，身边很多人按这个流程安装，完全可以安装折腾了两个星期的caffe，windows和ubuntu下都安装成功了。其中windows的安装配置参考

由于OpenCV对caffe了支持，使用Opencv的dnn模块来做就简单多了，下面给出步骤及代码。1、材料，使用mnist训练得到的模型文件，测试使用的网络文件及一张测试图像： 2、代码：featureMap.cpp#include #include   #include   using namespace cv;  using nam

在深度学习中，当数据量不够大时候，常常采用下面4中方法：1. 人工增加训练集的大小. 通过平移, 翻转, 加噪声等方法从已有数据中创造出一批"新"的数据.也就是Data Augmentation2. Regularization. 数据量比较小会导致模型过拟合, 使得训练误差很小而测试误差特别大. 通过在Loss Function 后面加上正则项可以抑制过拟合的产生. 缺点是引

参考资料1https://pyflux.readthedocs.io/en/latest/arima.html#example参考资料2多元序列分析ARIMAX(p,I,q)宇智波带土没事瞎折腾4 人赞同了该文章这里借助Python的statsmodels库和pyflux库进行多元时间序列分析，建立ARIMAX(p,I,q)模型用来预测二氧化碳浓度数据。其中p...

机器学习中SVD总结https://mp.weixin.qq.com/s/Dv51K8JETakIKe5dPBAPVg目录： 矩阵分解 1.1 矩阵分解作用 1.2 矩阵分解的方法 1.3 推荐学习的经典矩阵分解算法 SVD具体介绍 2.1 特征值、特征向量、特征值分解 2.2 SVD分解 2.3 SVD分解的应用 1. 矩阵分解...

ref：https://www.cnblogs.com/lzllovesyl/p/5243370.html本文先从几何意义上对奇异值分解SVD进行简单介绍，然后分析了特征值分解与奇异值分解的区别与联系，最后用python实现将SVD应用于推荐系统。1.SVD详解SVD(singular value decomposition)，翻译成中文就是奇异值分解。SVD的用处有很多，比如：LSA...

正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程的进行，模型复杂度增加，在training data上的error渐渐减小，但是在验证集上的error却反而渐渐增大——因为训练出来的网络过拟合了训练集，对训练集外的数据却不work。为了防止overfitting，可以...

 近些年，深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说，深度学习在推荐系统领域的研究与应用还处于早期阶段。携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用，并在国际人工智能顶级会议AAAI 2017上发表了相应的研究成果《A Hybrid Collaborative Filtering Model with Deep Structure fo...

文章一ref: https://blog.youkuaiyun.com/GZHermit/article/details/73920755推荐任务定义：在一个标准推荐任务中，我们有mm个用户(user)，nn个物品(item)，以及一个稀疏评分矩阵R(R∈Rm∗n)R(R∈Rm∗n)。RR中每个RijRij表示用户ii对于物品jj的评分。如果Rij≠0Rij≠0，那么说明用户ii有对物品jj的评...

原文链接 http://blog.youkuaiyun.com/zouxy09        今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。   ...

【尊重原创，转载请注明出处】 http://blog.youkuaiyun.com/guyuealian/article/details/70995333    本人最初了解AdaBoost算法着实是花了几天时间，才明白他的基本原理。也许是自己能力有限吧，很多资料也是看得懵懵懂懂。网上找了一下关于Adaboost算法原理分析，大都是你复制我，我摘抄你，反正我也搞不清谁是原创。有些资料给出的Adaboost

详细解释CNN卷积神经网络各层的参数和链接个数的计算分类：深度学习 （15362）  （14）  举报  收藏卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。       图：卷积神经网络的概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，滤波过程如图一，卷积后在C1层产生三个特征映射图，然后特征

https://github.com/dmlc/mxnet/issues/797MXNet设计和实现简介神经网络本质上是一种语言，我们通过它来表达对应用问题的理解。例如我们用卷积层来表达空间相关性，RNN来表达时间连续性。根据问题的复杂性和信息如何从输入到输出一步步提取，我们将不同大小的层按一定原则连接起来。近年来随着数据的激增和计算能力的大幅提升，神经网络也变得越来越深和大。例如

非常好的一篇介绍文字原文 http://machinelearningmastery.com/improve-deep-learning-performance/译文 http://www.cnblogs.com/jkmiao/p/5962744.html深度学习性能提升的诀窍[转载]原文： How To Improve Deep Learning Pe

caffe-window搭建自己的小项目例子           手头有一个实际的视觉检测的项目，用的是caffe来分类，于是需要用caffe新建自己的项目的例子。在网上找了好久都没有找到合适的，于是自己开始弄。1 首先是配置caffe的VC++目录中的include和库文件。配置include lib dll都是坑，而且还分debug和release两个版本。添加输入项目

参考官方文档，点这里

创建graph的时候，可跟踪查看到调用顺序tf.nn.conv2d(...) -> tf.nn_ops.conv2d(...) -> tf.gen_nn_ops.conv2d(...) -> _op_def_lib.apply_op("Conv2D", ...) -> ?但是，这里面有些函数gen_nn_ops.py 是机器编译生成的，有些不大理解？tf.nn.conv2d()是C

参考自：https://gist.github.com/bearpaw/c38ef18ec45ba6548ec0(这里介绍更全面)若需要cuDNN加速的童鞋，可以参考上面的网址安装CUDA6.5本步骤能实现用Intel核芯显卡来进行显示， 用NVIDIA GPU进行计算。1. 安装开发所需的依赖包安装开发所需要的一些基本包sudo apt-get i

转载请注明出处，楼燚(yì)航的blog，http://www.cnblogs.com/louyihang-loves-baiyan/https://github.com/YihangLou/fast-rcnn-train-another-dataset 这是我在github上修改的几个文件的链接，求星星啊，求星星啊（原谅我那么不要脸~~）在之前两篇文章中我介绍了怎么编译Fast RC

Fast RCNN训练自己的数据集 （2修改读写接口）转载请注明出处，楼燚(yì)航的blog，http://www.cnblogs.com/louyihang-loves-baiyan/https://github.com/YihangLou/fast-rcnn-train-another-dataset 这是我在github上修改的几个文件的链接，求星星啊，求星星啊（原谅我那么

FastRCNN 训练自己数据集 (1编译配置)转载请注明出处，楼燚(yì)航的blog，http://www.cnblogs.com/louyihang-loves-baiyan/https://github.com/YihangLou/fast-rcnn-train-another-dataset 这是我在github上修改的几个文件的链接，求星星啊，求星星啊（原谅我那么不要脸

UFLDL练习后面的参考链接都是http://ufldl.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B本文属于学习文章，非商业用途。====================================================================开始的第一个练习是：稀疏自编码器

http://scikit-learn.org/dev/index.html 基于python

(http://www.infoq.com/cn/articles/cyw-evaluate-seachengine-result-quality/)推荐MAP方法前言搜索质量评估是搜索技术研究的基础性工作，也是核心工作之一。评价（Metrics）在搜索技术研发中扮演着重要角色，以至于任何一种新方法与他们的评价方式是融为一体的。搜索引擎结果的好坏与否，体现在业界所称的在

一种基于消失点的单幅未校图像测量新方法 摘 要：针对从未知拍摄参数的单个图像或视频中推知目标物的三维信息的需要，人们进行了大量研究，但多数是围绕如何较好地估计出图像至地面的单应性矩阵，并且可测范围比较局限。本文提出利用三个消失点和一个参考高度，对基于小孔成像几何关系的测量模型中所需参数进行估计，进而完成测量。该方法相对于先前的单目测量方法，因为没有矢量和矩阵运算而显简洁高效，并且大

Apriori算法和FPTree算法都是数据挖掘中的关联规则挖掘算法，处理的都是最简单的单层单维布尔关联规则。Apriori算法Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。是基于这样的事实：算法使用频繁项集性质的先验知识。Apriori使用一种称作逐层搜索的迭代方法，k-项集用于探索(k+1)-项集。首先，找出频繁1-项集的集合。该集合记作L1。L1用于找频繁2-项集

Logistic回归(src:http://blog.youkuaiyun.com/dongtingzhizi/article/details/15962797)1.引言看了Stanford的Andrew Ng老师的机器学习公开课中关于Logistic Regression的讲解，然后又看了《机器学习实战》中的LogisticRegression部分，写下此篇学习笔记总结一下。首先说一下我的感受，

Model-based——GMM（Gaussian Mixture Model）1.GMM概念：          -将k个高斯模型混合在一起，没给但出现的概率是几个高斯混合的结果。          -假设有K个高斯分布，每个高斯对data points的影响因子为πk，数据点为x，高斯参数为theta，则