liujiandu101的博客

注意：保证各节点系统用户名和mpich2安装路径文件名相同一. MPICH安装1. 下载MPICH     网址：http://www.mpich.org/static/downloads/     下载 mpich2-1.0.2p1,因为高级版本已经不支持mpd(mpi管理器),可以下载到任意目录2、解压缩      tar -zxvf mpich2-1.0.2p1.

参考：http://www.linuxidc.com/Linux/2013-08/89154.htm            http://www.linuxidc.com/Linux/2014-04/100496.htm1、在本地机执行nfs安装命令：sudo apt-get install nfs-kernel-server ;2、执行命令：mkdir /home/liu/c

前面我们介绍了单机单GPU下的驱动安装，cuda Toolkit 和 SDK的安装，以及cuda基本编程我们还介绍了SSH安全通信，NFS共享存储，MPICH安装以及MPI基本编程，这样二者的结合基本实现了一个简单的CPU+GPU异构集群的搭建，下面我们在梳理一下，做一些总结性的说明。                  CPU+GPU集群是一个异构系统，包括CPU节点和GPU节

因为cuda具有高效利用GPU进行科学计算的优势，而人工智能的重点之一就是复杂的计算任务，因此学好GPU计算是学习AI的重点任务。这里，我们即将进行利用共享内存的矩阵运算。我们看一个例子，如何对矩阵进行分配显卡内存以及元素赋值操作。通常来讲，在GPU中分配内存使用的是cudaMalloc函数，但是对于二维或者三维矩阵而言，使用cudaMalloc来分配内存并不能得到最好的性能，原因是对于2

CUDA 是 NVIDIA 的 GPGPU 模型，它使用 C 语言为基础，可以直接以大多数人熟悉的 C 语言，写出在显示芯片上执行的程序，而不需要去学习特定的显示芯片的指令或是特殊的结构。”编者注：NVIDIA的GeFoce 8800GTX发布后，它的通用计算架构CUDA经过一年多的推广后，现在已经在有相当多的论文发表，在商业应用软件等方面也初步出现了视频编解码、金融、地质勘探

1.   打开"终端窗口"，输入"sudo apt-get update"-->回车-->"输入系统root用户的密码"-->回车,就可以了。  如果不运行该命令，直接安装mysql,会出现"有几个软件包无法下载，您可以运行apt-get update------"的错误提示，导致无法安装。2.   安装mysql      打开"终端窗口"，输入"sudo apt-get ins

Simulated Annealing algorithm 是一种通用的随机搜索算法，是一种理论上的全局优化算法。它模拟了物理的退火过程，由一个给定的初始高温开始，利用具有概率突跳特性的Metropolic策略在解空间中随机进行搜索，伴随温度的不断下降重复抽样。直到得到全局最优解。//----------------------#include#include

支持向量机通俗导论（理解SVM的三层境界）作者：July、pluskid ；致谢：白石、JerryLead出处：结构之法算法之道blog。前言    动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清

SciPy-数值计算库SciPy函数库在NumPy库的基础上增加了众多的数学、科学以及工程计算中常用的库函数。例如线性代数、常微分方程数值求解、信号处理、图像处理、稀疏矩阵等等。由于其涉及的领域众多、本书没有能力对其一一的进行介绍。作为入门介绍，让我们看看如何用SciPy进行插值处理、信号滤波以及用C语言加速计算。3.1　最小二乘拟合假设有一组实验数据(x[i], y[i]

Scikit Learn: 在python中机器学习Warning警告：有些没能理解的句子，我以自己的理解意译。翻译自：Scikit Learn:Machine Learning in Python作者: Fabian Pedregosa, Gael Varoquaux先决条件Numpy, ScipyIPythonmatplotlibscik

作者：Owl of Minerva链接：https://www.zhihu.com/question/26430414/answer/32936529来源：知乎著作权归作者所有，转载请联系作者获得授权。人脑对运动的识别是一个很大的问题，目前来说没有完整解决。仅仅探究认知上人脑的运动检测功能，或许并不能完整的解释人脑对运动识别的高可靠性。还需要知道人眼的凝视(gaze)能力和该能

安装依赖首先使用apt-get install安装依赖。（以下包括所有推荐的可选包）libjack0 libjack-dev libarpack2-dev libcurl4-gnutls-dev epstool libfftw3-dev transfig libfontconfig1-dev libfreetype6-dev libgl2ps-dev libglpk-dev lib

对于使用深度学习进行图像处理，Caffe是一个不错的框架选择。但是安装起来，并不是如想象中容易，稍不注意就会出错。网上关于Ubuntu14.04下配置Caffe的资料很多，但是总是要自己亲自配置才能获得自己的心得。从操作系统的版本转换到cuda的版本等变换，加上一下bug，中途浪费了许多时间，折腾了一两天，终于还是配置成功了。具体参照的链接是：http://blog.csd

可能有很多人想在ROS下学习视觉，先用摄像头获取图像，再用OpenCV做相应算法处理，可是ROS下图像的采集可不像平常的read一下那么简单，需要借助外部package的使用。而摄像头即可以用笔记本自带的摄像头，也可以用外部的kinect，当然还可以是外部接入的usb接口的摄像头。前两者照着《ROS by Example 1》的 第10章来学习，安装一下相应的package很容易上手。但是Lz

一、开源的OpenCV机器视觉我们最常用的软件是OpenCV（Intel OpenSource Computer Vision Library），它的中文论坛http://www.opencv.org.cn/index.PHP里面有非常清楚的介绍。二、VisionPro®7.0系统，快速开发强大的应用系统康耐视公司（Cognex ®）推出的 VisionPro ® 系统组合

问：自学机器学习技术，你有哪些建议？在网上有很多关于Machine Learning 的材料、教程和视频课程，包括 Coursera 上的一些大学课程。这里我主要讲讲深度学习领域。你可以在网上听一些指导性课程和演讲，对深度学习有一个大致的了解。里面我比较推荐的有：2015年5月《自然》上刊登的一篇概述性论文《深度学习》（Deep learning），由我自己、Yoshua Be

标签： 神经网络cnn斯坦福大学激活函数2016-03-05 20:40 3289人阅读 评论(3) 收藏 举报本文章已收录于：  深度学习知识库 分类：课程笔记（5）  DNN（14） 版权声明：本文为博主原创文章，转载请注明。目录(?)[+]本课程笔记是基于今年斯坦福大学Feifei L

首先说明：在caffe/include/caffe中的 filer.hpp文件中有它的源文件，如果想看，可以看看哦，反正我是不想看，代码细节吧，现在不想知道太多，有个宏观的idea就可以啦，如果想看代码的具体的话，可以看：http://blog.youkuaiyun.com/xizero00/article/details/50921692，写的还是很不错的（不过有的地方的备注不对，不知道改过来了没）。

20个你可以用来避免过拟合和得到更好的泛化的技巧我经常被问到诸如如何从深度学习模型中得到更好的效果的问题，类似的问题还有：我如何提升准确度如果我的神经网络模型性能不佳，我能够做什么？对于这些问题，我经常这样回答，“我并不知道确切的答案，但是我有很多思路”，接着我会列出了我所能想到的所有或许能够给性能带来提升的思路，。为避免一次次罗列出这样一个简单的列表，我决定把所有想法详细写在

在激活层中，对输入数据进行激活操作（实际上就是一种函数变换），是逐元素进行运算的。从bottom得到一个blob数据输入，运算后，从top输入一个blob数据。在运算过程中，没有改变数据的大小，即输入和输出的数据大小是相等的。输入：n*c*h*w输出：n*c*h*w常用的激活函数有sigmoid, tanh,relu等，下面分别介绍。1、Sigmoid对每个输入数据，利用sig

机器学习的目的就是通过对训练样本输出与真实值不一致的进行惩罚，得到损失Loss，然后采用一定的优化算法对loss进行最小优化，进而得到合理的网络权值。本文介绍Caffe中含有的常见的LossLayer及其参数设置方法Caffe的LossLayer主要由6个：(1)ContrastiveLossLayer对比损失函数主要用来训练siamese网络，改网络为专门处理同时输入两张图像的网

正则化是机器学习中非常重要并且非常有效的减少泛华误差的技术，特别是在深度学习模型中，由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合，比较常用的技术包括：参数添加约束，例如L1、L2范数等训练集合扩充，例如添加噪声、数据变换等Dropout该文主要介绍深度学习中比较常见几类正则化方法以及常用参数选择，并试图解释其原理。正则化技术参数惩罚

这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。SGDSGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次更新都利用一个batch的数

先上Paper列表：[v1] Going Deeper with Convolutions, 6.67% test error, http://arxiv.org/abs/1409.4842[v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 4.

这里搜集了一些关于物体检测的方法分析和介绍，看好哪个可以去详细研究一下，基本都有论文或代码的链接。这里是简述各种方法，下面有详细叙述========DPM=========使用传统的slider window的方法 计算量非常大========OverFeat====改进了Alex-net，并用图像缩放和滑窗方法在test数据集上测试网络;提出了一种图像定位的方法;最后通过一个

（文／Alfredo Canziani 等）深度神经网络自出现以来，已经成为计算机视觉领域一项举足轻重的技术。其中，ImageNet 图像分类竞赛极大地推动着这项新技术的发展。精确计算水平取得了稳步的增长，但颇具吸引力的模型应用尚未得到合理的利用。　　本文将综合分析实际应用中的几项重要指标：准确度、内存占用、参数、操作时间、操作次数、推理时间、功耗，并得出了以下几项主要研究结论：功

转自(非常感谢原文作者) http://www.cnblogs.com/neopenx/p/4575527.htmlLogistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段，其任务是优化目标函数：线性回归的求解法通常为两种：①解优化多元一次方程（矩阵）的传统方法，在数值分析里通常被称作

上文提到，到目前为止，caffe总共提供了六种优化方法：Stochastic Gradient Descent (type: "SGD"),AdaDelta (type: "AdaDelta"),Adaptive Gradient (type: "AdaGrad"),Adam (type: "Adam"),Nesterov’s Accelerated Gradient (type: "Ne

关于生成式对抗学习(Generative Adversarial Network, GAN)相关文章的阅读整理以及资源汇总。文章：Generative Adversarial Nets (2014)[paper][code] Ian Goodfellow第一篇提及生成式对抗学习的文章，开创性的工作。 – 提出了通过对抗网络来估计生成模型。 – 理论阐述了模型

前馈神经网络

卷积神经网络

自编码器

循环神经网络

玻尔兹曼机

深度置信网

生成对抗网络

监督学习

非监督学习

强化学习

转移学习