pytorch-(torch.take())根据索引返回指定索引上的数据集合

Hugging Face Datasets 核心原理与工程实践:Streaming、Map、Metrics、Concatenate Hugging Face Datasets 是面向机器学习工作流设计的惰性数据抽象层,其本质并非 pandas 替代品,而是基于 Apache Arrow 内存映射与声明式计算图构建的工业级数据容器。它通过 Streaming 实现超大规模数据的恒定内存流式处理,借助 Map(尤其 batched=True)支持高效向量化预处理,依托内置 Metrics 保障评估指标的跨团队一致性,并通过 Concatenate 实现多源异构数据集的安全格式对齐与拼接。这些能力共同解决了 NLP/ML 工程中数据加载慢、内 阅读详情
torch.take(input, index)->Tensor

返回一个新的张量,其中的元素是输入元素在给定的索引处,将输入张量视为视为一维张量。结果tensor的形状与索引相同。

参数介绍:

input:输入tensor。
indices:索引
接下来看用法:

src = torch.tensor([[4, 3, 5],
                    [6, 7, 8]])
torch.take(src, torch.tensor([0, 2, 5]))
tensor([ 4,  5,  8])
1
2
3
4

首先将input(这里为src)中的元素按照一维展开,然后在里面将index中的元素取出来形成一个新的tensor。index可以不只是一维tensor,可以是多维tensor:
在这里插入图片描述
注意: 返回的tensor不是视图,和原tensor不共享内存:

更多计算机视觉与图形学相关资料,请关注微信公众号:计算机视觉与图形学实战
在这里插入图片描述
论文下载请在公众号内回复:paper

如果您认为上面的内容对您有一定的价值,可以对我们进行小小的赞助,来支持我们的工作,因为后续打算构建自己的网站,谢谢:
在这里插入图片描述

PyTorch 中的 take()、take_along_dim() 和 Gather() 基本上,两个张量必须是相同的 D 并且返回的张量是 D,但是 0D 和 1D 张量或 1D 和 0D 张量的组合是可能的,那么返回的张量与第二个参数的张量相同torch或带有张量的第一个参数。如果设置了维度,则两个张量必须是相同的 D,并且返回的张量是 D。第二个参数的张量torch或第一个参数的张量决定返回张量的大小。第一个参数(必需)是具有张量的 0D 或更多 D 张量。第一个参数(必需)是具有张量的 0D 或更多 D 张量。第二个参数(必需)是具有张量的 0D 或更多 D 张量。 阅读详情

相关推荐

【信息科学与工程学】【数据科学】第一百二十二篇 大数据产品中的函数与算法01

它通常指。下面按照你给出的表格列💡 说明:下表中的"产品"以开源/主流商业组件为具象载体(Hadoop、Spark、Flink、Kafka、Hive、HBase、Iceberg、Atlas、Ranger、TensorFlow 等),它们共同构成一个完整的大数据产品家族;代码为实现示例,用于说明算法在工程系统中的落地方式。

weixin_49199313的博客 200

pytorch每日一学44(torch.take())根据索引返回指定索引上的数据集合

第44个方法 torch.take(input, index)->Tensor 返回一个新的张量,其中的元素是输入元素在给定的索引处,将输入张量视为视为一维张量。结果tensor的形状与索引相同。 参数介绍: input:输入tensor。 indices:索引 接下来看用法: >>> src = torch.tensor([[4, 3, 5], [6, 7, 8]]) >>> torch.take(src, t

Fluid_ray的博客 7587

【信息科学与工程学】【数据中心】 第二十三篇【智算中心】DDC网络-满足大规模训练、推理、存储区网络(Roce2组网)-01

设计维度目标值设计原则实现手段评估指标性能目标​端到端延迟<10ms低延迟优先RDMA优化,拓扑扁平化延迟分布,p99延迟可用性目标​99.99%可用性冗余设计多路径,设备冗余MTBF,MTTR吞吐目标​核心交换>10Tbps无阻塞交换大带宽核心,Clos架构对分带宽扩展性目标​线性扩展至1000节点模块化设计标准Pod架构扩展成本函数安全目标​零信任架构纵深防御微分段,加密传输安全事件数能效目标​PUE<1.2绿色计算高效设备,智能调度能效比(W/IOPS) 2. 物理拓扑设计 2.1 数据中心物理

weixin_49199313的博客 565

Pytorch中张量的高级选择操作

为了总结这篇文章,我们在一个表格中总结了这些函数之间的区别——包含简短的描述和示例形状。样本形状是针对前面提到的3D ML示例量身定制的,并将列出索引张量的必要形状,以及由此产生的输出形状:当你想要从一个张量中按照索引选取子集时可以使用,它通常用于在给定维度上选择元素。适用于较为简单的索引选取操作。适用于根据索引从输入张量中收集元素并形成新张量的情况。可以根据需要在不同维度上进行收集操作。torch.take适用于一维索引,从输入张量中取出对应索引位置的元素。当只需要按照一维索引取值时,非常方便。

deephub 1952

【信息科学与工程学】计算机科学与自动化—第十五篇 云计算 11 算法篇02

但若第一个应用需求40GB/s,第二个10GB/s,总需求50GB/s>40GB/s,第一个得32GB/s,第二个得8GB/s,不公平。但若分区负载不均(分区1-2各有100任务/s,分区3-4各有50任务/s),A负责1-2(200/s),B负责3-4(100/s),仍均衡。任务 τi​ 的计算需求 Wi​(CPU周期),在频率 f 下执行时间 Ti​=Wi​/f,能耗 Ei​=Pdyn​⋅Ti​=Ceff​⋅V2⋅f⋅(Wi​/f)=Ceff​⋅V2⋅Wi​。若 Mneed​>Mi​,需使用远程显存。

weixin_49199313的博客 110

【十万字拆解】从零开始实现GPT-2(完整版)

本文是一篇 14 万字、从零硬核实现 GPT 的保姆级指南。内容全面覆盖四个阶段:①从最基础的 Bigram 语言模型切入,跑通数据处理与训练闭环;②仿照 Transformer 架构,深度研究 Multi-Head Attention、残差网络、LayerNorm 及 Dropout 的底层数学与代码实现;③从零构建BPE 分词器,对齐 GPT-2 规范;④从头搭建 GPT-1/2 工业级预训练流程,包含混合精度、梯度累积等十余项硬件级工程调优,并在 AutoDL 算力平台上从0开始训练!适合所有层次!

Pi_Nick的博客 1235

PyTorch基础(19)-- torch.take_along_dim()方法

在深挖ML4CO的代码过程中,遇到了torch.take_along_dim()这个方法,影响到我后续的代码阅读;加之在上网搜索资料的过程中,网络上对此函数的介绍文章少之又少,即使有,也是对torch官网文档中的解释进行英译汉或对函数的轻描淡写,看完解析后,对该函数的认识并没有因此而深刻。故在此谈一下自己的理解。温馨提示:由于torch.take_along_dim函数与torch.gather函数的功能大同小异,因此在阅读这篇文章前,建议先阅读torch.gather()函数的解析。

奋斗の博客 1186

ABAP代码检查(Code Review)

1、SLIN 扩展程序检查 也可通过(SE38工具栏->检查-扩展程序检查) 进入 2、ATC 检查 通过<SE38菜单栏-检查-ABAP测试主控室> 或事物代码SCI, 支持自定义检查变式 SCI可以配置检查变式满足特殊需求,配置对象集用于批量检查 3、通过ABAP测试主控室实现统一管理,定期检查作业和监控功能(事务代码ATC) 参考 SLIN...

u012232542的博客 6072

pytorch常用操作

pytorch常用操作总结

asdapple117的博客 681

SecureCRT多种配色方案配置文件

位置 C:\Users%USERNAME%\AppData\Roaming\VanDyke\Config\Global.ini S:"SecureCRT Tab State"=1,1,1,0,0 S:"SecureFX Local Tab State"=1,-1,200 D:"Max Chat Window History"=000000c8 D:"Active Window Alpha Transparency"=000000f0 D:"Save Keymaps As Unicode"=00000000

神棍之路 3713

手眼标定搞定了,手眼矩阵不知道怎么用?快戳!!

手眼标定得到手眼矩阵到底该咋用? 大家好,我是小鱼。上几期给大家分享了关于手眼标定的方法,如果还有不清楚如何让进行手眼标定的同学可以参考下面的文章: 机器人手眼标定都能搞不定?快戳,最好用的手眼标定库!!! 很多同学做完了手眼标定之后得到了手眼矩阵,但是不知道怎么用于程序当中去,还有很多同学搞不清楚各个坐标系之间的关系,今天小智就给大家讲讲手眼矩阵的使用问题。 一、手眼矩阵为什么会长的不一样? 做完手眼标定,得到的手眼矩阵,有可能会长的不一样,这是因为旋转变换是有很多种表示方法的。 1.旋转的表

生活不止眼前的苟且 5344

Pytorch:张量的索引操作

在 PyTorch(以及其他类似的库,如 NumPy)中,使用张量进行布尔表达式的操作本质上是一种称为“元素级”或“元素对元素”的操作。高级索引是一种在 PyTorch 和 NumPy 中常用的索引方法,它允许你从数组或张量中选择复杂的、非连续的数据子集。函数是一个实用的张量操作,它用于从输入张量中按照指定的索引来提取元素。当在两个不同大小的张量上进行操作时,较小的张量会自动“扩展”其维度以匹配较大张量的形状。这种索引方式,通过在索引中,给定多个列表或多个张量,索引按这个列表或张量的次序访问元素。

m0_63997099的博客 2018

SLAM轨迹评估神器evo实战:从GPS到TUM格式的完整转换指南(附Python代码)

本文详细介绍了如何使用evo工具将GPS数据转换为TUM格式,以便进行SLAM轨迹评估。通过Python代码实现GPS到笛卡尔坐标的精确转换,并提供了完整的处理流程和实战案例,帮助开发者轻松完成从原始GPS数据到精确轨迹评估的全过程。特别适用于ORB-SLAM等视觉SLAM算法的性能验证。

weixin_29074295的博客 296

数据工程师的线性代数实战:从维度对齐到SVD故障排查

线性代数是数据科学与机器学习的底层运行时,而非抽象数学课程。它定义了向量空间的结构、矩阵运算的几何本质以及数值计算的稳定性边界。理解协方差矩阵条件数可预判特征缩放失效风险,掌握奇异值分解(SVD)能精准诊断推荐系统冷启动异常,而矩阵分块与正交投影则是分布式训练和BatchNorm等工程实践的理论根基。在真实场景中,shape mismatch、Loss is NaN、PCA效果倒退等问题,往往源于对特征值谱、伪逆鲁棒性或基变换逻辑的忽视。本文聚焦工业级数据流水线中的高频痛点,将线性代数转化为可调试、可监控、

weixin_30642869的博客 444

AD620仪表放大器模组实战:从调零到信号放大的完整指南

本文详细介绍了AD620仪表放大器模组的实战应用,从调零到信号放大的完整指南。AD620模组以其专业级性能和易用性成为微弱信号放大的首选,集成了AD620芯片、LM358运放和7660电源转换芯片。文章提供了调零技巧、增益设置方法以及单端与差分输入的正确连接方案,并通过心电信号采集和称重传感器等实际案例展示了其广泛应用。

weixin_29290379的博客 378

Python控制程控电源(USB)

随着智能电动汽车行业的持续发展,汽车电子或嵌入式设备在软硬件的测试中,都会使用程控电源供电,特别是自动化测试、压力测试场景必定使用到程控电源控制,控制电源上下电,监听电源电流、电压等,以下就以常见的艾德克斯程控电源为例,分享如何通过USB连接方式Python语言来控制程控电源。

测试领域技术分享 2868

EduRAG智能回答项目V1.0

本文介绍了基于企业私有数据构建RAG(检索增强生成)系统的完整流程。主要内容包括: 项目背景:针对大模型知识局限性和"幻觉"问题,提出两种解决方案——垂直领域微调和RAG问答系统,分析各自的优缺点及适用场景。 技术工具: 使用Ollama管理本地大模型 采用LangChain框架简化LLM应用开发 利用Milvus向量数据库存储和检索非结构化数据 系统实现: MySQL问答系统:基于BM25算法实现高频问答对检索 RAG系统:包含文档处理、向量存储、查询分类和策略选择等模块。

专注前端开发领域,深耕 Python AI Agent应用开发,热爱探索 Web 与人工智能的前沿技术。 270

Android车载蓝牙开发全攻略:从基础到高级优化

本文系统介绍了Android车载蓝牙开发的核心技术与实践指南。文章首先阐述了蓝牙在智能汽车中的关键作用,包括免提通话、音频流媒体等应用场景。随后详细解析了蓝牙协议基础,重点介绍了HFP、A2DP等车载常用协议。开发实战部分提供了设备发现、连接、数据传输的完整代码示例,并融入多线程和内存优化技巧。通过真实车载案例,展示了启动时间、流畅度和资源使用的优化策略。最后针对面试需求,提供了专业的技术问答,涵盖蓝牙开发全流程。全文紧密结合Android车载开发职位要求,为开发者提供了一套完整的蓝牙技术解决方案。

郑伟强dev的专栏 119

[特殊字符] 别再盲目部署本地AI Agent了!你的电脑真的不配!——2026年深度硬件剖析与“骂醒式”决策指南

🔥 本地AI部署的硬件真相 这篇长文揭露了当前本地AI Agent部署热潮中的硬件陷阱,指出盲目跟风将导致严重的性能问题。文章从五个维度系统拆解了本地AI运行的真实硬件需求: 显卡是核心瓶颈:显存决定模型上限,RTX 3060 12GB仅是7B模型入门卡,13B模型需要16GB以上显存 内存需求被严重低估:16GB内存仅够7B模型勉强运行,13B模型需要32GB起步 存储性能至关重要:NVMe SSD是底线,机械硬盘会导致无法忍受的延迟 CPU作用常被忽视:需要8核以上标压处理器处理多任务调度 散热电源是

热爱技术与前沿创新,深耕科技领域,在科创中精进自我;探索技术乐趣,分享技术干货与成长心得,以技术为伴,热爱生活,在科创与生活中双向成长。 650

使用 IMDb API 获取电影评分和评论的 Python 爬虫

电影是人们娱乐生活中的重要组成部分,随着电影产业的快速发展,观众对电影的评价也越来越多样化。IMDb(互联网电影数据库)作为全球最大的电影评分和评论平台之一,收录了成千上万部电影、电视节目及其相关数据。它提供了一个强大的 API 接口,允许开发者访问电影的评分、评论、演员信息等数据。本文将带你一步一步实现一个 Python 爬虫,使用 IMDb API 获取电影的评分和评论。我们将通过这个爬虫来分析一些热门电影的观众反馈,并可视化分析结果。

2201_76125261的博客 1055

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

【vllm】(v1 Executor)vLLM V1 Executor 深度分析 — Part1: 抽象基类与单进程执行器

vLLM V1 Executor 深度分析 — Part1: 抽象基类与单进程执行器

zhonglinzhang 548

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

网络算法:从图论基础到深度学习应用(万字长文)

摘要 本文系统介绍了网络算法的知识体系,从基础图论到前沿图神经网络。首先讲解了图的基本概念、表示方法和度量指标。然后详细阐述了经典算法:图的遍历(BFS/DFS)、最短路径(Dijkstra/Bellman-Ford)、最小生成树(Kruskal/Prim)、网络流和社区发现。接着分析了传统方法的局限性,引出深度学习在图数据上的应用,重点介绍了图表示学习(如Node2Vec)和图神经网络(GCN)的核心原理——消息传递机制。全文构建了从理论基础到实践应用的完整框架,为处理各类网络数据问题提供了方法论指导。

热爱技术与前沿创新,深耕科技领域,在科创中精进自我;探索技术乐趣,分享技术干货与成长心得,以技术为伴,热爱生活,在科创与生活中双向成长。 269

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

ClusterEXP4LLM: A MiniWarp-Aware Clustering Accelerator for Exponential Functions in LLM Inference

本文提出ClusterEXP4LLM,一种针对大语言模型(LLM)推理中指数运算瓶颈的FPGA加速器。通过分析发现,指数运算在LLM推理中占比高达13%-35%,成为主要性能瓶颈。ClusterEXP4LLM采用三大创新技术:(1)计算-查询合并机制,消除跨线程冗余计算;(2)路径感知的Mini-Warp调度,实现按需精度分配;(3)动态区间自适应,跟踪输入分布漂移。实验表明,该加速器在500MHz频率下实现48GExp/s的平均吞吐量,相比NVIDIA H100 GPU,单位吞吐量提升1.7倍,能效提升5

wzbbbb的博客 795

Google TPU软件栈核心组件与JAX/TensorFlow实战解析

深度学习算力需求持续攀升,GPU通用加速已难以满足超大规模模型对集群扩展效率和单位算力的极致追求。TPU作为Google专为张量运算设计的ASIC芯片,在矩阵乘法与卷积负载上展现出显著能效比优势。但要让模型真正跑在TPU上,关键在于理解其软件栈:XLA编译器负责将JAX、TensorFlow等框架的计算图转换为高效底层指令,并通过算子融合优化执行效率;libtpu与运行时层则支撑主机与设备间的通信与资源调度。对开发者而言,掌握XLA编译原理、数据管道吞吐优化及分布式训练策略,是迁移到Cloud TPU时规避

weixin_32830601的博客 314

多模态智能体记忆系统构建:从向量检索到动态管理

在人工智能领域,智能体的记忆能力是其实现长期任务规划和复杂环境交互的核心基础。记忆系统本质上是一种信息存储与检索机制,其技术价值在于使智能体能够跨越时间与任务,持续积累和利用经验。从工程实践角度看,高效的记忆系统需要解决多模态信息的融合编码、海量记忆的高效检索以及动态环境下的记忆更新与遗忘等关键问题。具体到多模态智能体,其记忆系统需将视觉、语言、动作等异构信息绑定为连贯的记忆单元,并在交互过程中实现精准的回忆与应用。这直接关系到智能体能否避免诸如目标遗忘、信息混淆等常见问题。WorldMemArena评测基

weixin_34364071的博客 297

推荐收藏!分享 PyTorch 中一些高级的索引和选择操作技巧

关于 Pytorch ,我之前分享过很多篇,至于为什么今年这么重视 Pytorch ,熟悉大模型、算法的小伙伴都应该知道。大部分的大模型开发语言都是Pytorch。废话不多说。转入正题。在某些情况下,你可能需要使用 PyTorch 进行一些高级的索引和选择操作,例如回答这样的问题:“如何根据张量B中指定的索引来从张量A中选择元素?在本文中,我们将介绍三种最常见的用于此类任务的方法,即torch.index_select、torch.gather和torch.take。我们将详细解释它们,并对它们进行对比。

Python数据挖掘 1696
上一篇: 从单张图重建三维人体模型综述(五)
下一篇: 预测视频Transformer:提高人工智能预测视频下一个内容的能力
元宇宙MetaAI
博客等级 码龄10年 331粉丝 333原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值