欢迎来到Jimmy的博客

前言：cifar10，cifar100是2个比较常用的图像分类数据库，官网地址，从官网下载的数据已经不是原始图片啦，而是经过数值化的numpy数组。那么这些数组究竟是什么样的？如果有一个直观的感受，以后不管是用机器学习算法还是深度学习算法，对于算法的理解都很有帮助。下面这段代码详细说明了图片数据是怎样一个存储方式，代码无需使用额外的库，跑出来结果一目了然正文闲话少说

前言大名鼎鼎的cifar10数据集想必大家已经都已经见识过了，如果对cifar10比较陌生，其详解可以参见本人博客：点击查看博客。其在机器学习和深度学习领域地位很重，一般写一个新网络，都要在这个数据集上跑一跑。我们学习了一段时间的深度学习后，已经不满足于现成的数据集了，想弄个自己的数据集跑一跑。本文就详细介绍几个python工具，仿照cifar10制作自己的数据集。正文具体流程如下：一，首先写个图片

前言：numpy库为python提供了很多方便的数学计算方法，尤其是提供了数组，极大方便了使用python进行矩阵运算，使其在机器学习和深度学习中得到有效利用，本文详细介绍一下高维矩阵的切割问题。平时我们使用最多的就是一，二维和三维矩阵，以前我容易将其跟立体几何联系起来。后来发现这样是非常错误的，因为再高一点的维度就不能想象了。所以，按照矩阵的形式，从外向内，逐层分解才能掌握好矩阵。正文：将以下代码

前言：mnist数据集是一个手写数字识别库，用于机器学习和深度学习的分类问题，同大多数标准化图像数据库一样，官网提供的文件并不是原始图像，而是经过数值化的二进制文件。比如：cifar10库的二进制文件解析出来后是一个字典，字典中又包含了代表图片特征的二维数组。cifar10库的解释详见：点击查看博客。将图像特征数字化保存到数组里面有助于 提高ML/DL框架的计算效率。一般的，数

1，对于训练集数据：import numpy as npimport structfrom PIL import Imageimport osdata_file = '/home/jimmytensorflow/data/train-images.idx3-ubyte'# It's 47040016B, but we should set to 47040000Bdata_

前言：前面我们爬取图片的网站都是静态的，在页面中右键查看源码就能看到网页中图片的位置。这样我们用requests库得到页面源码后，再用bs4库解析标签即可保存图片到本地。当我们在看百度图片时，右键–检查–Elements，点击箭头，再用箭头点击图片时，会显示图片的位置和样式。但是，当我们右键查看网页源码时，出来的却是一大堆JavaScript代码，并没有图片的链接等信息。这是为什么呢？这是因为，百度

前言：http协议作为Web通信的重要协议，完成了从客户端到服务端等一系列运作流程。 《图解HTTP》一书详细介绍了http协议的原理及应用，书中语言通俗易懂，图片生动传神，是非常好的入门教材。 本人最近在研究python爬虫，自然会用到很多http的知识，读完这本书的前几章后收货很大，遂将自己的想法总结一下。《图解HTTP》一书免积分下载：点击下载pdf第一章：HTTP协议是应用层协议，其依

前言：Requests库跟urllib库的作用相似，都是根据http协议操作各种消息和页面。都说Requests库比urllib库好用，我也没有体会到好在哪儿。但是，urllib库有一点不爽的是：urllib.request.urlretrieve(url, localPath)函数在将某些图片链接保存到本地时，会出现错误：httpError：304 Forbidden为什么会

前言：学习了python的基础知识后，我们来写一个简单的爬虫案例，本案例用到了urllib和re库。本案例的爬虫原理：首先我们用urllib库来模拟浏览器访问网站的行为，由给定的网站链接（url）得到对应网页的源代码（html标签）。其中，源代码以字符串的形式返回。然后我们用正则表达式re库在字符串（网页源代码）中匹配表示图片链接的小字符串，返回一个列表。最后循环列表，根据图片链接将图片保存到本地。其中urllib库的使用在python2.x和python3.x中的差别很大，本案例以python

前言：上一篇，我们使用了python自带的urllib和re库完成了爬虫的入门案例，点击进入博客但是，由于正则表达式难以掌握，我们用一个第三方库：BeautifulSoup，来对网页内容进行截取正文一，下载并安装BeautifulSoup如果python3.x安装了pip3，就可以使用pip3命令行来安装BeautifulSouppip3 install beautiful

使用python经常会导入外部包，所以自己写一个深层包结构，然后自己调用，会理解的比较深刻首先创建如下图所示的包结构：共有3层文件夹，最里面的一层文件夹下面包含4个有关加减乘除的模块，分别提供了+-*/的运算方法。注意：每一层新建的时候要建Python Package，而不是Directory。一，importimport语句在深层包结构中的用法如下：i

我们在模块中编写函数，供调用该模块的文件使用。当我们在编写模块时，也写了一些测试代码，供编写模块的人自己使用。但是这些测试对于调用者是没用的，也会执行。举个例子：首先编写模块，并提供测试代码def addFunc(a,b): return a+bprint('test计算结果:',addFunc(1,1)) #测试代码调用以上模块：import test