【XMU学科实践二】宝石识别代码详解（paddle框架）

原创

已于 2024-03-09 20:27:28 修改 · 1.3k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#paddle #cnn #深度学习

于 2023-05-16 16:10:00 首次发布

该文详细介绍了如何利用PaddleX进行图像分类任务，包括数据集的解压、处理、划分训练集和验证集，以及创建Reader类读取数据。使用ResNet101_vd_ssld模型进行训练，在eval集上达到94.75%的准确率。此外，文章提供了数据增强和模型训练的完整流程。

文章目录

笔者的留言
环境配置加载
导包
参数配置
数据准备
定义训练模型
结果展示
ipynb文件获取

笔者的留言

在eval集上准确率94.75，求点赞收藏。

环境配置加载


!ls /home/aistudio/data
!ls /home/aistudio/work
!mkdir /home/aistudio/external-libraries
!pip install beautifulsoup4 -t /home/aistudio/external-libraries
import sys 
sys.path.append('/home/aistudio/external-libraries')

导包

#导入需要的包
import os
import zipfile
import random
import json
import cv2
import numpy as np
from PIL import Image
import paddle
import matplotlib.pyplot as plt
from paddle.io import Dataset

参数配置

'''
参数配置
'''
train_parameters = {
   
   
    "input_size": [16,224,224],                           #输入图片的shape
    "class_dim": -1,                                     #分类数
    "src_path":"data/data146007/archive_train.zip",       #原始数据集路径
    "target_path":"/home/aistudio/data/dataset",        #要解压的路径 
    "train_list_path": "./train.txt",              #train_data.txt路径
    "eval_list_path": "./eval.txt",                  #eval_data.txt路径
    "label_list_path": "./label.txt",                  #eval_data.txt路径
    "label_dict":{
   
   },                                    #标签字典
    "readme_path": "/home/aistudio/data/readme.json",   #readme.json路径
    "num_epochs": 40,                                    #训练轮数
    "train_batch_size": 16,                             #批次的大小
    "learning_strategy": {
   
                                 #优化函数相关的配置
        "lr": 0.001                                     #超参数学习率
    } 
}

数据准备

定义unzip_data函数：解压数据集

def unzip_data(src_path,target_path):

    '''
    解压原始数据集，将src_path路径下的zip包解压至data/dataset目录下
    '''

    if(not os.path.isdir(target_path)):    
        z = zipfile.ZipFile(src_path, 'r')
        z.extractall(path=target_path)
        z.close()
    else:
        print("文件已解压")

定义get_data_list函数：获取train.txt,eval.txt,label.txt

def get_data_list(target_path,train_list_path,eval_list_path,label_list_path):
    '''
    生成数据列表
    '''
    #存放所有类别的信息
    class_detail = []
    #获取所有类别保存的文件夹名称
    data_list_path=target_path
    class_dirs = os.listdir(data_list_path)
    if '__MACOSX' in class_dirs:
        class_dirs.remove('__MACOSX')
    # #总的图像数量
    all_class_images = 0
    # #存放类别标签
    class_label=0
    # #存放类别数目
    class_dim = 0
    # #存储要写进eval.txt和train.txt中的内容
    trainer_list=[]
    eval_list=[]
    label_list=[]
    #读取每个类别
    for class_dir in class_dirs:
        if class_dir != ".DS_Store":
            if ' ' in class_dir:    #若文件夹名中存在空格
                d=class_dir.split