tensorflow_datasets 如何load本地的数据集

关于使用tfds.load()函数加载tensorflow_datasets数据集由于网络无法加载的问题 当我们想要在本地运行一下tensorflow的一些demo时首先要做的就是加载数据集的问题,但是由于国内网络的问题加上tensorflow_datasets的数据集一般都是几百兆甚至一两个G,所以很容易劝退我等小白,既然网络直接加载数据集几乎不可能成功,那么一个比较容易想到的解决办法便是提前将数据集下载到本地,然后从本地加载tensorflow_datasets的数据集。 以tensorflow中的transformer葡萄牙语-英语翻译为例,我们需要加载的数据集为: ted_hrlr_translate/ 阅读详情

Tensorflow 2.x

用同一个语句,差一行代码。

以mdb_reviews为例,

本地的话,提前下载解压到

C:\\Users\\Grant\\tensorflow_datasets\\imdb_reviews\\plain_text\\1.0.0,

但是传给load函数的目录是前半部分C:\\Users\\Grant\\tensorflow_datasets\\,

后半部分tfds自动拼接,因为tfds代码库内建数据集操作类代码和特征字典。

以下代码在linux ,win10下测试通过。看工作代码:

####======================load from local =========================
# import os
#windows 10
#text_dir='C:\\Users\\Grant\\tensorflow_datasets\\'
#linux
text_dir='/root/data/'
## 目录自动添加 imdb_reviews\\plain_text\\1.0.0
dataset, info = tfds.load('imdb_reviews', download=False,data_dir=text_dir, with_info=True,as_supervised=True)
#print("data_dir:",text_dir)
####===============================================================

 

 

tfds.load: 一行代码获取数据集,

tfds.load 是构建并加载 tf.data.Dataset 最简单的方式。

tf.data.Dataset 是构建输入流水线的标准 TensorFlow 接口。

 

 

 

tensorflow.keras.datasets 中关于imdb.load_data的使用说明 在tensorflow2.x的keras中内置了7种类型的数据集: 数据集名称 数据集描述 boston_housing 波士顿房价数据 cifar10 10种类别图片集 cifar100 100种类别图片集 fashion_mnist 10种时尚类别图片集 imdb 电影评论情感分类数据集 mnist 手写数字图片集 reuters 路透社新闻主题分类数据集 这些数据的读取都可以使用load_data()方法。不过2种关于文本的数据集imdb和reuters比较 阅读详情

相关推荐

Tensorflow2.0入门教程9:TensorFlow Datasets 数据集载入, my write

download:布尔值,是否进行数据下载,如果数据准备好了,后续的 load 命令便不会重新下载,可以重复使用准备好的数据。as_supervised :若为 True,则根据数据集的特性返回为 (input, label) 格式,否则返回所有特征的字典。当得到了 tf.data.Dataset 类型的数据集后,我们即可使用 tf.data 对数据集进行各种预处理以及读取数据。(x_train, y_train), (x_test, y_test)为返回的数据集。load_data载入数据。

小硕算法工程师 680

tensorflow系列之1:加载数据

本文介绍了如何加载各种数据源,以生成可以用于tensorflow使用的数据集,一般指Dataset。主要包括以下几类数据源: 预定义的公共数据源 内存中的数据 csv文件 TFRecord 任意格式的数据文件 稀疏数据格式文件 更完整的数据加载方式请参考:https://www.tensorflow.org/tutorials/load_data/images?hl=zh-cn import numpy as np import pandas as pd import tensorflow as tf

jediael_lu的专栏 1864

tensorflow_tensorboard_advanced_demo.py例子

官方例子,深度学习专用,机器学习专用,代码简单,一看就会(tensorflow tensorboard advanced demo)

【Tensorflow入门实践】第2节:MNIST数据集入门

如题。讲述MNIST定义,基础信息,相关代码,以及作图展示。

the Blog of 等不到天亮丶等时光 1166

从实习生到独立上手:我是如何用海思PQTool搞定IPC图像调试的

本文分享了从实习生到独立使用海思PQTool进行IPC图像调试的成长历程。通过工具搭建、核心参数调整和实战案例,详细介绍了如何高效解决图像质量问题,特别强调了ISP调试中的关键参数和实用技巧,适合刚入门的图像调试工程师参考。

weixin_33756596的博客 311

重构工业交互体验:响应式数据可视化大屏解决方案

从智慧园区到数据中心,从水务监控到风力发电场景,HT 通过 2D/3D 组态技术与响应式布局机制,让数据以更灵活、更精准的方式呈现场景动态 —— 这正是 HT 技术在工业可视化领域的核心价值。例如,在智慧楼宇监控系统中,HT 引擎可实时渲染建筑结构、设备状态与数据流,同时确保画面在不同尺寸屏幕上的一致性。以某工业数据中心大屏为例,HT 通过暗红色主调搭配工业元素,结合粉色与黄色点缀,打破传统深蓝色大屏的视觉定式,同时通过矢量图形确保色彩在不同亮度下的辨识度 —— 这正是 HT 技术在视觉设计上的独特优势。

Hightopo的博客 888

tfds.load('spectra',train)结果

tfds.load(spectra,train) 是 TensorFlow Datasets 库中的一个函数,用于从 TensorFlow Datasets 中加载数据集。 其中,spectra 是指定要加载的数据集的名称,train 参数指定是要加载训练数据还是测试数据。如果 train 设置为 True,则加载训练数据;如果 train 设置为 False,则加载测试数据。 这个函数的返回值是...

weixin_35750747的博客 280

HTML入门(详细教程),前端入门从这里开始

HTML基础教程,网页框架搭建,表单制作,了解HTML标签的基本用法,每个标签具备哪些属性。

wandertp的博客 1283

tensorflow-datasets load 数据集失败

tensorflow-datasets load 数据集失败

shm的专栏 1188

cadence—virtuosoic617的使用技巧收集区

cadence使用

qq_33599939的博客 3万+

MATLAB2022b安装

图文并茂,手把手教会你怎么安装MATLAB2022b

1万+

tensorflow2.0从本地加载cifar10数据集

tensorflow2.0从本地加载cifar10数据集 将(x,y), (x_test, y_test) = datasets.cifar10.load_data()中load_data的origin = 'file:///home/wen/.keras/datasets/cifar-10-python.tar.gz'#https://www.cs.toronto.edu/~kriz/cif...

qq_39023633的博客 2871

RK3568平台开发系列讲解(NPU篇)什么是RKNPU

📢本篇章将介绍RKNPU。

内核笔记 4354

关于tensorflow入门keras的Fashion-mnist数据集无法下载的解决方法

关于tensorflow入门keras的Fashion-mnist数据集无法下载的解决方法 原创笔岸柳影 最后发布于2020-03-25 17:39:43 阅读数 150 收藏 展开 文章目录 问题描述(声明一下,本博客采用包含keras的tensorflow包) 解决方法(建议至少运行过一次load_data()函数,创建需要的文件路径) 附上该入门练习的相关效果图 我的学习思路总结(仅供参考...

lizz2276的博客 1775

ADAS方案设计-CAN网络管理与休眠唤醒机制

文章摘要:本文介绍了车载控制系统的五种工作模式及其转换条件,包括睡眠模式、准备睡眠模式、就绪睡眠模式、正常工作模式和重复消息状态。系统唤醒条件包括接收到网络管理报文或电源ON档信号,休眠条件则需满足电源OFF档、功能完成等多重要求。针对下挂节点的网络管理报文发送规则,详细说明了不同状态下的报文发送策略,特别是在哨兵模式、OTA模式等特殊场景下的处理方式。系统在满足休眠条件后会立即停止发送下挂节点网络管理报文,确保电源管理的有效性。

xiandang8023的博客 323

科研绘图系列:R语言绘制极坐标饼图(pie plot)

科研绘图系列:R语言极坐标饼图(pie plot)

专注生信领域 1050

python 中 keras.datasets 加载cifar10数据集(本地导入)

如果在python中无法加载的话,那只能本地导入cifar 首先先下载 cifar-10-python.tar.gz 地址:http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz 再把cifar-10-python.tar.gz 放到本地文件夹中 这里我把cifar-10-python.tar.gz改成了cifar-10-batches-py.tar.gz,其实可以不改名,不影响的 搞完了这些后就可以去python中运行了 如果还没成功,

qq_54180801的博客 7691

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

安装tensorflow后出现No module named ‘tensorflow.examples.tutorials‘问题的解决办法

链接:https://pan.baidu.com/s/16TBbWBmTyljqh3lgBbZuHg 提取码:gj8k 当我们安装完tensorflow,使用tensorflow导入数据时 from tensorflow.examples.tutorials.mnist import input_data 可能会出现报错信息: ModuleNotFoundError: No module named 'tensorflow.examples.tutorials' 当出现这个报错信息时,大概率是tutor

qq_40942280的博客 4879

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

tensorflow2.0 load_data()的存储路径(ubuntu18.04)

遇到tensorflow代码,本地还没有数据,直接.load_data()情况,其实是这些特定的数据集会直接从网上先下载到本地,再使用。 如下: cifar10 = tf.keras.datasets.cifar10 (x_train, y_train), (x_test, y_test) = cifar10.load_data() #下载位置 .keras/datasets/ (上面目录下) 可以查找.keras目录 sudo find . -name .keras ...

Powerking666的博客 885

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

keras 的cifar-10 数据集离线下载和使用(2026.04)

最近因为要使用到这个cifar-10数据集,但是在线下载很慢,所以想着离线下载后放到本地路径内使用,但是按照大多数网上的教程都没办法离线加载,于是等了一个多小时在线下载后看看最新的数据路径和格式是什么样子的。按照之前的教程,需要将下载的数据集改名为cifar-10-batches-py.tar.gz后放到这个路径下面,但我操作的一直不行。将这个文件放到上图所在的路径中后,使用语句加载数据集时会自动解压为以下路径。C:\Users\{用户名}\.keras\datasets。这样就可以正常使用了。

qq_20727539的博客 60

cifar10-python.tar.gz下载问题

使用data_dir = r"C:\Users\用户名\.keras\datasets\cifar-10-batches-py"强制读取仍然出现问题,多方排查后,问题指向。学习深度学习的时候,写到图像识别出现下载问题,询问ai无果,并且ai给的几个链接都是无效链接,下载后。校验文件哈希码,和官方预设值对比;只要文件损坏、缺失、哈希不匹配,立刻发起境外网址下载请求;

siw234的博客 175

TensorFlow Datasets简介

公共数据集为机器学习研究的快速发展提供了动力,但仅仅将这些数据集放入机器学习管道仍然太困难了。 每个研究人员都经历了编写一次性脚本以下载和准备他们使用的每个数据集的痛苦,这些数据集都具有不同的源格式和复杂性。 今天,我们很高兴推出TensorFlow Datasets(GitHub),它将公共研究数据集公开为tf.data.Datasets和NumPy数组。 它完成了获取源数据并将其准备为磁盘上...

KyrieHe的博客 7754

tensorflow.keras.datasets.imdb 中 load_data 函数的解析

开始接触一点 NLP,一边看 2017 年的 CS224n课程,因为里面的作业似乎是要求用 tensorflow,而 2019 年新的课程是用 pytorch。从 IMDB 数据集开始试试,简单的解析了之后可以看到评论的内容和正负两种评价标签,然后就要对词向量做一个词嵌入(Embedding)的处理,因为网络结构不是用 ANN 而是用循环神经网络 RNN 来做,所以不可以用稀疏向量(...

baidu_41902768的博客 8745

tensorflow中有关tensorflow_datasets的简介

一、模型:tensorflow_datasets tensorflow_datasets(tfds) 定义为用TensorFlow的一个数据集。 每个数据集被定义为一个 tfds.core.DatesetBuilder,这个tfds.core.DatesetBuilder包裹着logic下载数据集,和构建了一个输入管道,以及包含了数据集文件。 主要的库包括: ~tfds.builder: 取一个 ...

weixin_43763859的博客 4529

TensorFlow Datasets介绍

点击上方“AI公园”,关注公众号,选择加“星标“或“置顶”作者:TensorFlow编译:ronghuaiyang前戏本文介绍了TensorFlow的Datasets,可...

AI公园 3323
上一篇: google三驾马车
下一篇: tensorflow hub 如何load本地的模型,公网访问模型
WorldModel
博客等级 码龄27年 23粉丝 75原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值