联邦EMNIST数据集 (FEMNIST)

已于 2023-01-04 18:08:12 修改
阅读量7.2k 收藏 10
点赞数 3
文章标签： 人工智能 分类
于 2023-01-04 17:31:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jasonso97/article/details/128551603
版权
FEMNIST是基于NIST SD 19和EMNIST数据集的联邦学习基准，提供了iid和non-iid的划分方式，特别适用于研究非独立同分布的数据场景。FEMNIST数据集可以从LEAF项目获取，并通过preprocess.sh脚本进行定制化划分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Introduction

众所周知，MNIST手写数字数据集是机器学习的"Hello world!"级别的数据集，入门必定少不了它。但是很多人只知道MNIST是手写数字图片的数据集，并不清楚这个数据集和它的来源(NIST SD19)以及其衍生的数据集(EMNIST, FEMNIST)的关系。这里我会对这几个数据集做十分简短的介绍，并附上官网和原文链接，有需要的可以直接去看第一手资料。

NIST Special Database 19

NIST Special Database 19 实际上的名字叫做 NIST Handprinted Forms and Characters Database（NIST手写表格与字符数据库）。NIST全称为 National Institute of Standards and Technology （美国国家标准与技术研究院），因此NIST实际上是一个机构而不是某一个数据集，不过我们通常简称 NIST SD 19 这个数据集为 NIST数据集。
NIST SD 19这个数据集有两个版本，第一版1是1995年发布的，第二版2是2016年发布的，第二版实际上只是对第一版的文件格式做了一些调整，使得使用者更加方便能够用到数据，而从数据量来说并没有提升。
NIST SD 19包含62种字符（0-9,a-z,A-Z&#

最低0.47元/天 解锁文章
jasonso97
关注
联邦学习（一）：通过卷积神经网络对 emnist 数据集分类
cocofisher的博客
04-19 2047
文章目录项目介绍代码说明1、导入需要的库2、导入数据集3、处理数据集4、创建模型5、定义初始化模型函数6、定义迭代函数6.1 客户端更新权重函数6.2 服务端更新权重函数6.3 使用 tff.tf_computation 修饰以上两个更新函数6.4 使用 tff.federated_computation 修饰 next_fn() 函数7、将算法封装到 tff.templates.IterativeProcess 中8、处理测试集数据9、测试集准确率9.1 测试函数9.2 模型初始化9.3 模型训练 项目介
常见用于联邦学习的数据集【FL】【Datasets】
eternity_memory的博客
08-04 1604
每个文件存储了一部分训练数据，共5个批次（batches），每个批次包含了 10,000 张 32x32 像素的彩色图像。这是一个与MNIST类似的图像数据集，但包含了各种时尚产品的图像，用于服装分类任务。：文件还包含了每个类别的索引，这些索引与训练数据和测试数据中的标签值相对应。：文件中包含了数据集中所有类别的名称。这些名称对应于图像数据中的标签，帮助将模型预测的数字标签与实际类别名称进行匹配。：CIFAR-10包含60,000张32x32像素的彩色图像，分为10个类别，每个类别有6,000张图像。
手写字母识别 深度学习 pytorch 线性层 EMNIST数据集 CUDA GPU训练 可使用图片测试 可视化 源代码 详细注释
ak49的博客
10-11 1596
手写字母识别 深度学习 pytorch 线性层 EMNIST数据集 CUDA GPU训练 可使用图片测试 可视化 源代码 详细注释
EMNIST手写体数据集
12-23
共分为两部分，一部分是原始的EMNIST数据集，另一部分是已经解析为png格式并分类的Emnist_letters图片数据集
EMNIST数据集简介
热门推荐
Chris_zhangrx的博客
01-16 2万+
后期将更新对此数据集处理的代码 文章链接: EMNIST: an extension of MNIST to handwritten letters 下载链接： [Download] 下面对 EMNIST 做一个简单的介绍。 NIST 与 MNIST NIST 全称为 NIST Speical Database 19,全数据集包含了 80 多万张图片，MNIST 则是 NIST 数据集的缩减版...
Femnist数据集下载与划分
m0_63036896的博客
12-08 892
划分完后是一些json文件，会在femnist/data路径下的train和test目录里面，每个json文件里面都会有很多user，每个user下有x和y列表，x列表是图片，y列表是图片对应的标签，至此就算是划分好了。把上述GitHub链接的东西git下来，可以看到data里面的femnist数据集，环境我用的3.11，只需要划分数据集的话版本应该没有特殊需求，尽量不要执行requirements，tensorflow很多包会冲突。其中比较重要的是get_data.sh，这里主要是下载数据集的命令。
英文字符数据集(EMNIST,图片形式).zip
12-22
从EMNIST英文数据集中导出图片，并将其归成26个子文件夹，为26个字母A-Z，大小写字母在1类中，一共12万余张灰度图片，可供研究者使用。
联邦学习和计算机视觉分类任务中常用的数据集MNIST、FasionMNIST、FEMNIST、EMNIST、CIFAR10、CIFAR100
qq_43478778的博客
12-19 1349
联邦学习和计算机视觉分类任务中常用的数据集MNIST、FasionMNIST、FEMNIST、EMNIST、CIFAR10、CIFAR100
联邦学习分布式训练MNist数据集.zip
03-13
在这个"联邦学习分布式训练MNist数据集.zip"压缩包中，我们主要关注的是使用联邦学习技术对MNIST数据集进行分布式训练。MNIST是一个广泛使用的手写数字识别数据集，包含60,000个训练样本和10,000个测试样本，每个...
基于breast cancer数据集进行横向联邦学习逻辑递归的实现python源码.zip
10-12
基于breast_cancer数据集进行横向联邦学习逻辑递归的实现python源码.zip基于breast_cancer数据集进行横向联邦学习逻辑递归的实现python源码.zip基于breast_cancer数据集进行横向联邦学习逻辑递归的实现python源码....
EMNIST:使用EMNIST数据集对单词进行分类和预测
04-30
恩尼斯 由@ shubhammor0403开发 使用EMNIST数据集对单词进行分类和预测 在Android应用程序中此模型的实现可在以下位置找到： 描述 该项目使用深度学习和计算机视觉的概念，为传统的手写识别技术提供了一种新的解决方案。 已使用了称为Emnist数据集的Mnist位数数据集的扩展。 它包含62个班级，每个班级都有0-9位数字和AZ字符。 已经创建了一个Android应用程序，用于检测手写文本并将其使用卷积神经网络（缩写为CNN）将其转换为数字形式，以进行文本分类和检测。 在此之前，我们对数据集进行了预处理，并对其应用了各种过滤器。 其中包括两个单独的Jupyter文件。 modeltrain.ipynb包含模型的创建和训练，而segment.ipynb包含使用创建的模型对单词的预测。 环境 Python蟒 张量流 凯拉斯 脾气暴躁的 Matplotlib Openc
emnist-csv.rar
06-20
Emnist数据集（Mnist数据集的扩展形式，包括A-Z大小写字母，0-9阿拉伯数字），csv格式，可以直接用pandas读取，训练集和测试集都有，标签自带，py程序里有数据及解释，解压并修改文件路径就可以用。
FashionMNIST数据集
12-22
Fashion-MNIST是一个替代MNIST手写数字集的图像数据集。 它是由Zalando（一家德国的时尚科技公司）旗下的研究部门提供。其涵盖了来自10种类别的共7万个不同商品的正面图片。Fashion-MNIST的大小、格式和训练集/测试集划分与原始的MNIST完全一致。60000/10000的训练测试数据划分，28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码。
探索扩展的数字与字母世界：EMNIST数据集全面解析与应用
gitblog_06549的博客
10-31 465
探索扩展的数字与字母世界：EMNIST数据集全面解析与应用 【下载地址】EMNIST数据集百度云下载分享 本资源文件提供了EMNIST数据集的百度云下载链接。EMNIST数据集是MNIST数据集的扩展，包含了手写数字和字母的数据，适用于机器学习和深度学习任务 ...
Pytorch使用Emnist数据集做手写数字识别
qq_43422995的博客
05-06 2151
一、导入包含的包 import torch import torchvision from torch.utils.data import DataLoader from tensorboardX import SummaryWriter # tensorboard import torch.nn as nn import cv2 as cv import numpy as np import time from emnist_moudle import * # 导入网络模型 emnist_moudle
Emnist 数据集百度云下载
Rocklee12138的博客
04-07 2480
由于Emnist数据集原地址在外网，下载速度实在太慢了 所以折腾了好久才成功 故在此附上百度云链接:https://pan.baidu.com/s/1UcNxuqU9sRIOc16rcq6Czg 密码:x1bm
[论文阅读]EMNIST: an extension of MNIST to handwritten letters
哆啦A瑶的博客
01-15 1767
论文阅读 EMNIST: an extension of MNIST to handwritten letters / 2020-01 Howard wonanut 最近遇到一个问题，需要识别手写字母，这个问题本身没啥难度，难在如何找到训练数据集，因为之前做过手写数字的识别，知道有个MNIST手写数字数据集，可这手写字母数据集还真没注意过。第一个映入眼帘的手写字母数据集是Chars74k数据集,...
基于tensorflow、keras对emnist数据集进行手写字母识别
qq_56864896的博客
11-10 3176
其中要注意的是，tensorflow和keras和numpy的版本一定要对应，如果不对应就无法正常引用，python版本也不能太新，3.6到3.7最佳，如果python版本不满足，可以安装anaconda，在anconda prompt中创建虚拟环境，让其中的python=3.6.5即可。在测试集中，预测的准确率在91.65%，相比于普通的神经网络，卷积神经网络的准确率更高一些，但是在算法上也更加复杂。EMNIST 数据集是一个包含手写字母，数字的数据集，它具有和MNIST相同的数据格式。
下载EMNIST数据库
TSINGHUAJOKING
12-27 798
数据文件与MNIST兼容，  可以直接替换网络的中原来的MNIST数据集合对网络进行训练。下面从 PyTorch 图像库中下载该数据库， 查看一下具体的数据库文件的结构。下面，  检查一下数据路中的字母数据集合的图像。通常对读取的字母数据矩阵进行转置，  对应的标号是从 1到26表示字符的数值。下载其中的 EMNIST数据库。使用昨天读取FashionMNIST程序，  读取 MNIST数据集合， 会发现， 图像有 90°的旋转。数据库， 实际上， 它将 EMNIST中所有的数据文件都下载下来了。
femnist使用
最新发布
03-29
<think>好的，我现在需要帮助用户了解如何使用FEMNIST数据集进行联邦学习训练。首先，我得回忆一下FEMNIST数据集的基本信息。FEMNIST是扩展自EMNIST的数据集，常用于联邦学习，包含手写字母和数字，由不同用户的手写样本组成，具有非独立同分布（Non-IID）特性。 接下来，用户的需求是使用这个数据集进行联邦学习训练，可能需要步骤指导。根据引用内容，用户提到了LEAF框架，其中提供了联邦学习的数据集和例子，使用的是联邦平均算法，Python和TensorFlow。所以第一步应该是获取数据集，并配置环境。 首先，数据获取。根据引用[3]，用户提供的链接是CIFAR-100，但用户问的是FEMNIST，可能需要确认LEAF是否包含FEMNIST。通常LEAF确实包含FEMNIST，所以用户需要从LEAF的仓库获取。可能需要克隆LEAF的GitHub仓库，然后运行预处理脚本生成FEMNIST数据。比如LEAF的GitHub仓库可能有生成数据集的指令，比如运行./preprocess.sh -s niid --sf 0.1 -k 0 -t sample来生成非独立同分布的数据。 然后，环境配置。根据引用[1]，LEAF使用Python和TensorFlow，所以需要安装这些依赖。用户需要安装TensorFlow和必要的包，可能通过requirements.txt来安装。需要提醒用户注意版本兼容性，尤其是TensorFlow的版本可能影响代码运行。 接下来是模型构建。联邦学习通常使用联邦平均算法，用户需要定义一个CNN模型，因为FEMNIST是图像数据。例如，用TensorFlow构建包含卷积层、池化层和全连接层的模型。这部分需要给出示例代码，可能包括模型的结构定义。 然后是训练过程。使用联邦平均算法，在每一轮中选择部分客户端，分发全局模型，本地训练，上传参数，聚合更新。需要解释这个过程，并给出训练循环的伪代码或代码框架。例如，引用中的联邦平均算法可能需要循环多个轮次，每个轮次处理客户端的数据，进行本地训练，然后聚合权重。 最后，评估和优化。训练完成后在测试集上评估模型性能，并考虑可能的优化方法，如调整本地训练轮数、客户端选择策略或学习率调度。同时，可以结合引用[2]提到的公平资源分配方案，考虑在资源分配上的优化。 需要检查步骤是否清晰，是否覆盖了数据准备、环境配置、模型构建、训练流程和评估优化。同时，确保代码示例正确，使用TensorFlow 2.x的语法，比如使用Keras API构建模型。可能需要注意LEAF的具体使用方式，比如数据加载的代码示例，如何读取预处理后的数据文件，并分配给不同的客户端。 另外，用户可能遇到的问题包括环境配置错误、数据预处理步骤复杂或模型结构不适应数据。需要提醒用户注意数据路径的正确性，依赖版本的安装，以及模型结构与输入数据的匹配（比如图像尺寸、通道数等）。 最后，生成相关问题，可能涉及数据集的其他应用、联邦学习的优化方法，或者与其他数据集的比较，如CIFAR-100。根据引用内容，可以提出关于联邦平均算法的性能分析、公平资源分配的应用，或者不同数据集的适用场景等问题。</think>### FEMNIST数据集的使用步骤 #### 1. **获取数据集** FEMNIST数据集通常通过联邦学习框架LEAF获取。LEAF提供了数据预处理工具，可将原始数据划分为多个客户端的非独立同分布（Non-IID）数据。 - **操作步骤**： 1. 克隆LEAF仓库： ```bash git clone https://github.com/TalwalkarLab/leaf ``` 2. 进入`leaf/data/femnist`目录，运行预处理脚本生成数据： ```bash ./preprocess.sh -s niid --sf 0.1 -k 0 -t sample ``` 参数说明：`-s niid`表示非独立同分布划分，`--sf`控制客户端数据量，`-t`指定任务类型[^1]。 #### 2. **环境配置** LEAF依赖Python和TensorFlow，需安装以下环境： ```bash pip install tensorflow numpy pandas # 基础依赖 pip install -r leaf/requirements.txt # 安装LEAF特定依赖 ``` #### 3. **模型构建** 使用TensorFlow定义卷积神经网络（CNN）模型： ```python import tensorflow as tf def create_cnn_model(input_shape=(28, 28, 1), num_classes=62): model = tf.keras.Sequential([ tf.keras.layers.Conv2D(32, (5, 5), activation='relu', input_shape=input_shape), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Conv2D(64, (5, 5), activation='relu'), tf.keras.layers.MaxPooling2D((2, 2)), tf.keras.layers.Flatten(), tf.keras.layers.Dense(512, activation='relu'), tf.keras.layers.Dense(num_classes, activation='softmax') ]) return model ``` #### 4. **联邦训练流程** 使用联邦平均算法（FedAvg）进行训练： ```python def federated_train(global_model, clients_data, num_rounds=10, fraction=0.1): for round in range(num_rounds): selected_clients = select_clients(clients_data, fraction) local_weights = [] for client in selected_clients: local_model = tf.keras.models.clone_model(global_model) local_model.compile(optimizer='adam', loss='sparse_categorical_crossentropy') local_model.set_weights(global_model.get_weights()) # 本地训练（假设client_data为(client_x, client_y)） local_model.fit(client.x, client.y, epochs=1, batch_size=32) local_weights.append(local_model.get_weights()) # 聚合权重更新全局模型 global_weights = average_weights(local_weights) global_model.set_weights(global_weights) return global_model ``` #### 5. **评估与优化** - **评估**：在测试集上计算准确率： ```python test_loss, test_acc = global_model.evaluate(test_x, test_y) print(f"Test Accuracy: {test_acc*100:.2f}%") ``` - **优化方向**： - 调整本地训练轮数（`epochs`）或学习率。 - 使用动态客户端选择策略提升公平性[^2]。 - 引入差分隐私或梯度压缩增强安全性。 ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值