战斗蜗牛的专栏

前言本篇博客出于学习交流目的，主要是用来记录自己学习中遇到的问题和心路历程，方便之后回顾。过程中可能引用其他大牛的博客，文末会给出相应链接，侵删！这篇博客记录大部分来自一篇Survey，文章总结了目前最常见的12种攻击方法和15种防御方法。但是又不是存翻译，中间可能夹杂着一些自己的理解和废话，介意的可以看文末的其他参考链接。由于篇幅太长博客分为上、下两部分，其中，上部分是基础术语和实验室环境下以及现实环境下的现有攻击技术，下部分是对对抗样本存在原因的分析以及介绍常见的防御方法。机器视觉中使用

前言本篇博客出于学习交流目的，主要是用来记录自己学习中遇到的问题和心路历程，方便之后回顾。过程中可能引用其他大牛的博客，文末会给出相应链接，侵删！这篇博客记录大部分来自一篇Survey，文章总结了目前最常见的12种攻击方法和15种防御方法。但是又不是存翻译，中间可能夹杂着一些自己的理解和废话，介意的可以看文末的其他参考链接。由于篇幅太长博客分为上、下两部分，其中，上部分是基础术语和实验室环境下以及现实环境下的现有攻击技术，下部分是对对抗样本存在原因的分析以及介绍常见的防御方法。参考文献：Th

一、傅立叶变换的由来关于傅立叶变换，无论是书本还是在网上可以很容易找到关于傅立叶变换的描述，但是大都是些故弄玄虚的文章，太过抽象，尽是一些让人看了就望而生畏的公式的罗列，让人很难能够从感性上得到理解，最近，我偶尔从网上看到一个关于数字信号处理的电子书籍，是一个叫Steven W. Smith, Ph.D.外国人写的，写得非常浅显，里面有七章由浅入深地专门讲述关于离散信号的傅立叶变换，虽然是

下面是我的编译过程记录，几乎同书中一样，唯一不同的是我的机器是win7 64bit的，然后用的是VS2008。 1. 首先从python.org上下载python源码压缩包，我下的是Python-2.7.3.tgz，不放心最好用MD5校验下。 2. 解压后目录结构大致如下  从各目录名大概就知道该目录是存放什么的了，比如Mac是存放在Mac系统下编译的文件；我们所需要的源代码应该是

下载地址：http://pan.baidu.com/s/1pL1XwXd我相信世上存在值得阅读的经典的深度学习论文，不论它们的应用领域是什么。比起推荐大家长长一大串论文，我更倾向于推荐大家一个某些深度学习领域的必读论文精选合集。精选合集标准2016 : +30 引用 「+50」2015 : +100 引用 「 +200」201

从深度学习在2012年大放异彩，gpu计算也走入了人们的视线之中，它使得大规模计算神经网络成为可能。人们可以通过07年推出的CUDA(Compute Unified Device Architecture)用代码来控制gpu进行并行计算。本文首先根据显卡一些参数来推荐何种情况下选择何种gpu显卡，然后谈谈跟cuda编程比较相关的硬件架构。1.选择怎样的GPU型号这几年主要有AMD和

深度学习 Deep Learning 学习资料汇编 （持续更新中）。欢迎补充。入门阅读deep learning较全面的入门介绍200浅谈Deep Learning的基本思想和方法63机器学习——深度学习(Deep Learning)59deep learning tutorials31一篇blog：deep learning2,326一些论文介绍26代码/工具Th

DeepMind宣布采用谷歌开源的深度学习框架TensorFlow，不再采用Torch框架。Torch 诞生时间较久，直到去年Facebook 开源了大量Torch的深度学习模块才开始流行起来。DeepMind是谷歌并购的一家AI公司，今年因AlphaGo以4:1的成绩战胜了韩国围棋大师李世石而名声大噪。除此以外，谷歌还有规模更大的Google Brain团队。对于希望在应用中整合

上期勘误    PPT11, 随机Pooling中蓝色矩形中概率值相加不为1，修正结果如下：    PPT16, 欧式损失和对比损失函数系数应为1/2N，原文中误为-1/N，修正结果如下：    本文作者刘昕特此感谢上海科技大学汤旭同学和腾讯优图汪铖杰研究员指出上期推送中的错误。作者对此表示深刻歉意，并承诺加强内容审核，同时欢迎深度学习大讲堂的广大读者指正，共同为优质的内容生产而努力。正文

2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与优快云共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。11日下午的深度学习分论坛，地平线

本周，我在加拿大蒙特利尔参加了NIPS（Neural Information Processing Systems，神经信息处理系统）2015年论坛。这是一次令人难以置信的经历，就像从信息海洋中汲水一样。特别感谢我的雇主Dropbox派遣我参加这场会议（我们正在招人）。这里是本周我注意到的一些趋势；注意到这些趋势更偏向于深度学习和强化学习（reinforcement lea

机器之心对Pedro Domingos的演讲幻灯片进行了编译和总结：1知识从何而来Pedro Domingos认为，知识来源于进化、经验、文化和计算机。对于知识和计算机的关系，他引用了Facebook人工智能实验室负责人Yann LeCun的一段话：将来，世界上的大部分知识将由机器提取出来，并且将长驻与机器中。2计算机如何发现新知识

【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年，最新的《Nature》杂志专门开辟了一个“人工智能 + 机器人”专题 ，发表多篇相关论文，其中包括了Yann LeCun、Yoshua Bengio和Geoffrey Hinton首次合作的这篇综述文章“Deep Learning”。本文为该

【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年，最新的《Nature》杂志专门开辟了一个“人工智能 + 机器人”专题 ，发表多篇相关论文，其中包括了Yann LeCun、Yoshua Bengio和Geoffrey Hinton首次合作的这篇综述文章“Deep Learning”。本文为该

Caffe2是一个清晰而高效的深度学习框架，其作者是博士毕业于UC Berkeley的贾扬清12，目前在Google工作。Caffe是纯粹的C++/CUDA架构，支持命令行、Python和MATLAB接口；可以在CPU和GPU直接无缝切换：Caffe::set_mode(Caffe::GPU);Caffe的优势上手快：模型与相应优化都是以文本形式而非代码形式

深度学习是近十年来人工智能领域取得的最重要的突破之一。它在语音识别、自然语言处理、计算机视觉、图像与视频分析、多媒体等诸多领域都取得了巨大成功。本文将重点介绍深度学习在物体识别、物体检测、视频分析的最新研究进展，并探讨其发展趋势。1. 深度学习发展历史的回顾现有的深度学习模型属于神经网络。神经网络的历史可追述到上世纪四十年代，曾经在八九十年代流行。神经网络试图通过模拟大脑认知的机理

卷积神经网络（Convolutional Neural Network,CNN）新手指南引言卷积神经网络：听起来像是生物与数学还有少量计算机科学的奇怪结合，但是这些网络在计算机视觉领域已经造就了一些最有影响力的创新。2012年神经网络开始崭露头角，那一年Alex Krizhevskyj在ImageNet竞赛上（ImageNet可以算是竞赛计算机视觉领域一

总结： 我总是从迷你程序中学到很多。这个教程用python写了一个很简单迷你程序讲解递归神经网络。递归神经网络即RNN和一般神经网络有什么不同？出门左转我们一篇博客已经讲过了传统的神经网络不能够基于前面的已分类场景来推断接下来的场景分类，但是RNN确有一定记忆功能。废话少说，上图：layer_0就是输入层，layer_1就是隐层，layer_2就是输出层。什么叫隐层呢？顾名

今天David 9要带大家读偶像Hinton等大牛的一篇论文，搞深度学习或者DL的朋友应该知道，那就是有名的Dropout方法。学过神经网络的童鞋应该知道神经网络很容易过拟合。而且，如果要用集成学习的思想去训练非常多个神经网络，集成起来抵制过拟合，这样开销非常大并且也不一定有效。于是，这群大神提出了Dropout方法：在神经网络训练时，随机把一些神经单元去除，“瘦身”后的神经网络继续训练，

循环神经网络(RNN)人们的每次思考并不都是从零开始的。比如你在阅读这篇文章时，你基于对前面的文字的理解来理解你目前阅读到的文字，而不是每读到一个文字时，都抛弃掉前面的思考，从头开始。你的记忆是有持久性的。传统的神经网络并不能如此，这似乎是一个主要的缺点。例如，假设你在看一场电影，你想对电影里的每一个场景进行分类。传统的神经网络不能够基于前面的已分类场景来推断接下来的场景分类。

前言：本文主要是bengio的deep learning tutorial教程主页中最后一个sample：rnn-rbm in polyphonic music. 即用RNN-RBM来model复调音乐，训练过程中采用的是midi格式的音频文件，接着用建好的model来产生复调音乐。对音乐建模的难点在与每首乐曲中帧间是高度时间相关的（这样样本的维度会很高），用普通的网络模型是不能搞定的

入门机器学习, 总有几张图片, 令人印象深刻. 以下是十张经典图片, 图解机器学习, 非常有 启发性:1.  训练错误和测试错误。这张图告诉我们训练错误越小，不一定是最好的。训练误差和测试误差要达到一个平衡，才是最好的。下图展示了ESL 图 2.11, 训练错误和测试错误与模型复杂度的关系.Test and training error2. “欠拟合”和”过拟合”.

前言：找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个，如果你的研究方向是机器学习/数据挖掘之类，且又对其非常感兴趣的话，可以考虑考虑该岗位，毕竟在机器智能没达到人类水平之前，机器学习可以作为一种重要手段，而随着科技的不断发展，相信这方面的人才需求也会越来越大。纵观IT行业的招聘岗位，机器学习之类的岗位还是挺少的，国

这一期, 我们来谈一谈机器学习中的贝叶斯. 概率论中贝叶斯理论, 作为概率的一种“思考方式”, 十分通用. 当机器学习应用中, 贝叶斯的强大理论提现在多个领域, 包括超参数贝叶斯, 贝叶斯推断, 非参贝叶斯等等…入门机器学习中的贝叶斯, 首先要区分概率中频率学派和贝叶斯学派的. 网上有各种各样的解释, 其实, 我们可以从机器学习的角度去解释.机器学习问题可以总结为: 找

1. Pip如果已经安装过pip，可以跳过这里的安装步骤。$ sudo apt-get install python-pip python-dev python-setuptools build-essential$ sudo pip install --upgrade pip$ sudo pip install --upgrade virtualenv为了检测

背景：总览机器学习方法在生产、生活和科研中有着广泛应用，而集成学习则是机器学习的热门方向之一。集成学习是使用一系列学习器进行学习，以某种规则把各个学习结果进行整合，从而获得比基学习器有更好学习效果的集成学习器.今天， 我们在分析讨论集成学习和多类集成学习的同时， 提出目前多类集成学习的一些问题， 供大家参考。集成学习图例研究现状理论丰富

=======================国外====================Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/)在我的眼里，M Jordan无疑是武林中的泰山北斗。他师出MIT，现在在berkeley坐镇一方，在附近的两所名校（加stanford）中都可以说无出其

今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大，为了不吓到大家，我将这个五个部分分成两篇博文。知识有限，以下都是我一些浅显的看法，如果理解存在错误，希望大家不吝指正。谢谢。        监督机器学习问题无非就是“minimizeyour error while

前言    开始本文内容之前，我们先来看一下上边左侧的这张图，从图中你看到了什么物体？他们在什么位置？这还不简单，图中有一个猫和一个人，具体的位置就是上图右侧图像两个边框(bounding-box)所在的位置。其实刚刚的这个过程就是目标检测，目标检测就是“给定一张图像或者视频帧，找出其中所有目标的位置，并给出每个目标的具体类别”。    目标检测对于人来说是再简单不过的任务，但是对于计算机来说，它

主要问题还是没有把cuda的头文件、库的路径放置到caffe的Makefile.config中；具体来说：CUDA7.5中的include、lib路径是安装目录下/usr/local/cuda-7.5/targets/x86_64-linux/下面的include和lib将其分别添加到caffe根目录下Makefile.config中的"INCLUDE_DIRS"、“L

注意！！！：由于编译、运行脚本写的都是相对于caffe的安装根目录，所以所有指令在caffe根目录下执行！！为了程序的简洁，在caffe中是不带练习数据的，因此需要自己去下载。但在caffe根目录下的data文件夹里，作者已经为我们编写好了下载数据的脚本文件，我们只需要联网，运行这些脚本文件就行了。注意：在caffe中运行所有程序，都必须在根目录下进行，否则会出错

一、概述Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。图灵（图灵，大家都知道吧。计算机和人工智能的鼻祖，分别

何恺明课题组目标检测最近工作《R-FCN: Object Detection via Region-based Fully Convolutional Networks》：We present region-based, fully convolutional networks for accurate and efficient object detection. In contrast

1.更新系统 apt-get update -y apt-get upgrade -y 2. 安装gnome环境相关，sudo apt-get install ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal3. 安装vncserver, s

1.  DL基础理论    本页PPT给出了本节内容概要，我们从MCP神经元模型开始，首先回顾全连接层、卷积层等基础结构单元，Sigmoid等激活函数，Softmax等损失函数，以及感知机、MLP等经典网络结构。接下来，将介绍网络训练方法，包括BP、Mini-batch SGD和LR Policy。最后我们会介绍深度网络训练中的两个理论问题：梯度消失和梯度溢出。    MCP神经元模型提出

computer vision(cv) 存在ICCV/CVPR/ECCV三个顶级会议, 它们档次差不多,都应该在一流会议行列, 没有必要给个高下. 有些us的人认为ICCV/CVPR略好于ECCV,而欧洲人大都认为ICCV/ECCV略好于CVPR, 某些英国的人甚至认为BMVC好于CVPR.简言之, 三个会议差不多, 各有侧重和偏好.三者乃cv领域的旗舰和风向标,其oral paper (

什么是熵(Entropy)简单来说，熵是表示物质系统状态的一种度量，用它老表征系统的无序程度。熵越大，系统越无序，意味着系统结构和运动的不确定和无规则；反之，，熵越小，系统越有序，意味着具有确定和有规则的运动状态。熵的中文意思是热量被温度除的商。负熵是物质系统有序化，组织化，复杂化状态的一种度量。熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯首次提出熵的概念，用来表示任何一种能

、特征提取Feature Extraction：·         SIFT [1] [Demo program][SIFT Library] [VLFeat]·         PCA-SIFT [2] [Project]·         Affine-SIFT [3] [Project]·         SURF [4] [OpenSURF] [Ma

机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。这里IT经理网为您总结一下常见的机器学习算法，以供您在工作和学习中参考。机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍，第一个方面是学习的方式，第二个方面是算法的类似性。学习方式根据数据类型的

1、查找当前目录的各个文件件及子文件夹的容量 du -h --max-depth=1 work/testing