tensorflow-图像识别-随机梯度

# -*- coding: utf-8 -*-

import numpy as np
from PIL import Image
import tensorflow as tf
import os
import matplotlib.pyplot as plt

try:
    from tqdm import tqdm
except ImportError:
    def tqdm(x,*args,**kwargs):
        return x
    
def to_onehot(labels,nclasses=10):#一维数组转为二维数组
    outlabels=np.zeros((len(labels),nclasses))
    for i,l in enumerate(labels):#转换二维数组，加标签
        outlabels[i,l]=1
    return outlabels

def loadlabels(filedir):#读取标签
    label = np.loadtxt(filedir,skiprows=1,dtype='str',unpack=True)
    label.sort(axis=0)#按列排序
    label2=[]
    for i in range(len(label)):
        label2.append(label[i].split(','))#按，分割字符串
        label[i]=label2[i][1]#只获取第二列数据
    label=label.astype(int)#转为int格式
    label3=to_onehot(label)
    return label3

def loadimages(filedir):#读取图像数据
    imgs=os.listdir(filedir)
    imgs.sort()#升序排列
    arr2=np.empty((len(imgs),784))
    print((len(imgs)))
    for i in range(len(imgs)):
        img=Image.open(filedir+'/'+imgs[i])#读取图像
        arr=np.asarray(img,dtype='float')#转为数组
        arr=arr.reshape(784)#28*28二维数组合并为一维数组
        arr2[i]=arr/255
    return arr2,imgs


filedir='D:/flyai/001/dev.csv'#读取标签
labels=loadlabels(filedir)
filedir='D:/flyai/001/images'#读取图像数据
data,imgs_name=loadimages(filedir)
'''拆分训练集与测试集'''
indices=np.random.permutation(data.shape[0])#随机打乱重新排序
valid_cnt=int(data.shape[0]*0.1)#取10%数据作测试数据
test_idx,training_idx=indices[:valid_cnt],indices[valid_cnt:]
test,train=data[test_idx,:],data[training_idx,:]
labels_test,labels_train=labels[test_idx,:],labels[training_idx,:]

'''梯度下降'''
sess=tf.InteractiveSession()
x=tf.placeholder("float",[None,784])
y_=tf.placeholder("float",[None,10])

w=tf.Variable(tf.zeros([784,10]))
b=tf.Variable(tf.zeros([10]))
sess.run(tf.global_variables_initializer())#参数初始化
y=tf.nn.softmax(tf.matmul(x,w)+b)
    
cross_entropy=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=y+(1e-50),labels=y_))#损失函数
train_step=tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)#梯度下降优化，学习率0.02
#tf.argmax 是一个非常有用的函数，它能给出某个tensor对象在某一维上的
#其数据最大值所在的索引值。
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(y_,1))

#这行代码会给我们一组布尔值。为了确定正确预测项的比例，我们可以把布尔值
#转换成浮点数，然后取平均值。例如，[True, False, True, True] 会变成 
#[1,0,1,1] ，取平均值后得到 0.75.
accuracy=tf.reduce_mean(tf.cast(correct_prediction,'float'))

epochs=5000#学习次数
train_acc=np.zeros(epochs//50)
test_acc=np.zeros(epochs//50)
for i in tqdm(range(epochs)):#进度条
    A=accuracy.eval(feed_dict={x:train,y_:labels_train})
    train_acc[i//50]=A
    A=accuracy.eval(feed_dict={x:test,y_:labels_test})
    test_acc[i//50]=A
    train_step.run(feed_dict={x:train,y_:labels_train})

#计算所学习到的模型在测试数据集上面的正确率
print(sess.run(accuracy,feed_dict={x:test,y_:labels_test}))

plt.figure(figsize=(6,6))#观察学习曲线
plt.plot(train_acc,'bo')
plt.plot(test_acc,'rx')