满城风絮

在http://blog.youkuaiyun.com/piaoxuezhong/article/details/78916872中，softmax分类器准确性优于两层神经网络结构的结果，之前在cs231n课程中，老师提到了这一点，神经网络层数达到一定复杂度后，神经网络才能发挥出比较大的优越性能，本篇使用TensorFlow实现卷积神经网络（CNN），测试一下效果。参考：h

实例1：#!/usr/bin/env python3# -*- coding: utf-8 -*-import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

参考：https://www.tensorflow.org/get_started/get_startedhttp://jorditorres.org/research-teaching/tensorflow/first-contact-with-tensorflow-book/first-contact-with-tensorflow/#cap1

参考：http://jorditorres.org/research-teaching/tensorflow/first-contact-with-tensorflow-book/first-contact-with-tensorflow/#cap1https://www.jianshu.com/p/c62fdd13561e

1安装Anaconda下载地址：https://www.continuum.io/downloads/（我安装的是linux-64-python3.6)然后执行：bash Anaconda×××-Linux-x86_64.sh ，然后一直enter键，中途会遇到([y]/n)? 的提示，输入y即可。安装好后，在终端输入Python即可看见：Python 3.6.3 |Anaconda,

且看知乎上的帖子：如何高效的学习tensorflow？本篇简要总结以下，并不断更新中～～tensorflow官网（需要翻墙）一个有用的链接学习TensorFlow极客学院的MNIST入门github的tensorflow主页Stanford的CS 20SI课程，专门针对TensorFlow的课程First Contact With TensorFlow，中文：与Tensor

前记：鉴于安装双系统走过的坑，把成功安装的经过汇总如下，亲测一、下载系统镜像和USB刻录软件Ubuntu系统镜像，官网下载。USB刻录软件，点击下载。2G以上空间的U盘。下载Ubuntu镜像进入Ubuntu官网后，点击下载Ubuntu16.04的64位版本，如下图所示： 下载USB刻录工具进入Rufus的官网后，找到下图位置，点击下载USB刻

前记：20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时，发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于避免了对图像复杂的前期预处理操作，可以直接输入原始图像，因而得到了更为广泛

在前面的几节课中，讲述了神经网络的基本原理和参数的优化方法等，在这节课中，讲师前面的知识进行总结运用，通过构建Softmax分类器和一个小型的神经网络让我们有更加深入和直接的了解。我按照课中的步骤在ubuntu系统下进行实现。第一步：生成数据。N = 100 # number of points per class D = 2 # dimensionality K = 3 #

参考：http://cs231n.github.io/neural-networks-3/https://zhuanlan.zhihu.com/p/21741716?refer=intelligentunithttps://zhuanlan.zhihu.com/p/21798784?refer=intelligentunit参考：http://c

正则化正则化主要是为了防止数据的过拟合，对于过拟合，下图1的说明比较清楚:对于房价与房子大小之间的关系，左边给出的是线性关系，相比于中间的二次曲线，关系拟合性上稍显不足，为欠拟合；右边的四次曲线很好的过了每格样本点，但是应用到其他的数据上的能力（泛化能力）有些差，右图所示即为过拟合。对于防止神经网络出现过拟合现象，课中给出了四种方法，分别为：L2正则化，L1正则化，

该节课中主要讲述了针对神经网络输入数据的一些预处理操作，例如：均值化，归一化，PCA与白化等，另外还讲述了损失函数及其正则化。数据预处理在深度学习算法中起着重要作用，在实际的计算过程中，将数据做归一化和白化等处理后，算法往往能够取得较好的效果。数据预处理之：归一化均值减法：即将样本数据减去它们的均值。python中操作：X=X-np.mean(X,axis=0);示例：im

在线性分类器中，使用公式：对图像进行分类，神经网络则使用另外一种公式：,这里只是两层的网络结构，参数W1和W2在反向传播过程中，通过链式法则得到。神经网络与大脑神经结构上图1中，左边是人脑的神经元结构，右边是神经网络数学模型。其中，生物神经元：从树突（dendrites）获取输入信号，然后沿着它唯一的轴突（axon）产生输出信号；轴突在其末端逐渐分枝，通过突触（synapses

参考：http://cs231n.github.io/optimization-2/https://zhuanlan.zhihu.com/p/21407711

继续cs231n课程的学习，最优化方法部分：随机梯度下降法。前面课程介绍了图像分类任务的两个关键部分：（1）评分函数。将原始图像像素映射为分类评分值。（2）损失函数。根据分类评分和训练集图像数据实际分类的一致性，来衡量参数集的好坏。损失函数有不同的实现方式（例如：Softmax或SVM）。线性函数的形式是： ，而SVM实现的公式是：对于图像数据xi，如果基于参数集W做出的分类预

图像分类图像分类即是从已有的分类标签集中选择一个分配给一张图像。K近邻算法可以进行分裂，但存在不足之处：（1）分类器必须记住所有训练数据并将其存储起来，以便于未来测试数据用于比较。这在存储空间上是低效的。（2）对一个测试图像进行分类需要和所有训练图像作比较，算法计算资源耗费高。针对不足，需要更强大的方法来解决图像分类问题，并可以自然延伸到神经网络和卷积神经网络。这种方法主要由两

我学习使用的是带中文翻译字幕的网易课程，公开课地址：http://study.163.com/course/courseLearn.htm?courseId=1003223001#/learn/video?lessonId=1003734105&courseId=1003223001该节课中提到了一种叫作softmax的函数，因为之前对这个概念不了解，所以本篇就这个函数进行整理，如下：维基

套用：人工智能，深度学习，机器学习……不管你在从事什么工作，都需要了解这些概念。否则的话，三年之内你就会变成一只恐龙。 —— 马克·库班本篇主要是为了在学习机器学习和深度学习之前进行一些扫雷性质的工作，毕竟要入门一个新的领域，前期了解性质的工作必不可少，针对我自己的一些疑惑，例如：深度学习需要哪些知识储备，深度学习与英伟达GPU的关系，深度学习是否一定要懂CUDA等等问题，我查阅了相关网址

你可能经常听到周边人说：机器学习，深度学习，机器视觉等词汇，也浏览过一些介绍性质的文章，对这些概念有了大概的认知；或许你也会有深入研究的冲动，欢迎入坑，整理一下入坑的准备工作，后面一段时间有空就搞起来了~_~先列个书单：《机器学习--周志华》 可以边看边补数学基础知识：概率论，数理统计，线性代数等。 斯坦福 Andrew Ng CS229 机器学习课程。《深度学习》进阶篇：

想入手TensorFlow，听说现在开源了支持windows的版本，开撸~步骤一：安装python3.5.2（目前支持的版本为python3.5x系列）下载地址：http://download.youkuaiyun.com/detail/piaoxuezhong/9799820安装时可以选择add path...选项，方便。安装是否成功的验证：在命令行里输入：python，如果成功则会显示