【tensorflow】tf.sparse_split用法——使用tf.sparse_split拆分sparse_tensor

Keras实战:从零构建一维信号深度学习分类模型 在时序信号处理领域,传统阈值检测面对复杂波形与强噪声环境时往往力不从心,而深度学习凭借自动特征提取能力成为更优解。一维卷积神经网络(1D CNN)通过卷积核在时间轴上滑动,可有效捕捉脉冲、突变等局部结构;结合LSTM还能建模长程依赖,提升序列分析表现。该技术广泛应用于天文信号识别、语音分类、工业振动检测等场景。本文聚焦信号分类的完整实践链路,以脉冲星周期信号、快速射电暴瞬态信号与纯噪声的三分类任务为例,基于Keras框架演示数据生成、预处理、模型搭建、训练评估与部署选型的关键步骤,帮助读者快速掌握深度学习方 阅读详情

我们在实际tensorflow应用中,如果遇到保存稀疏矩阵的时候,会选择Sparse_tensor,这样可以节省大量的空间。
但是如果想要拆分稀疏矩阵的时候,直观的思路是:先将spare_tensor转为dense_tensor,然后拆分,然后再转成spare_tensor,这个过程中耗时不说,专程dense实际上就违背了我们节省空间的初衷。

  • 正确的解决方式是:

def sparse_split(keyword_required=KeywordRequired(),
                 sp_input=None,
                 num_split=None,
                 axis=None,
                 name=None,
                 split_dim=None):
  """Split a `SparseTensor` into `num_split` tensors along `axis`.

  If the `sp_input.dense_shape[axis]` is not an integer multiple of `num_split`
  each slice starting from 0:`shape[axis] % num_split` gets extra one
  dimension. For example, if `axis = 1` and `num_split = 2` and the
  input is:

      input_tensor = shape = [2, 7]
      [    a   d e  ]
      [b c          ]

  Graphically the output tensors are:

      output_tensor[0] =
      [    a ]
      [b c   ]

      output_tensor[1] =
      [ d e  ]
      [      ]

  Args:
    keyword_required: Python 2 standin for * (temporary for argument reorder)
    sp_input: The `SparseTensor` to split.
    num_split: A Python integer. The number of ways to split.
    axis: A 0-D `int32` `Tensor`. The dimension along which to split.
    name: A name for the operation (optional).
    split_dim: Deprecated old name for axis.

  Returns:
    `num_split` `SparseTensor` objects resulting from splitting `value`.

  Raises:
    TypeError: If `sp_input` is not a `SparseTensor`.
    ValueError: If the deprecated `split_dim` and `axis` are both non None.
  """
  • 举例说明用法:
import tensorflow as tf

a = tf.SparseTensor(indices=[[0,0],[1,1]],values=[1,2],dense_shape=(2,2))

b,c = tf.sparse_split(sp_input=a,num_split=2,axis=1)

with tf.Session() as sess:
    print(sess.run(a))
    print(sess.run(b))

输出是:

SparseTensorValue(indices=array([[0, 0],
       [1, 1]]), values=array([1, 2], dtype=int32), dense_shape=array([2, 2]))
SparseTensorValue(indices=array([[0, 0]]), values=array([1], dtype=int32), dense_shape=array([2, 1]))
SparseTensorValue(indices=array([[1, 0]]), values=array([2], dtype=int32), dense_shape=array([2, 1]))
  • 需要注意的是:
    上面是使用python3的版本,如果使用python2,必须传入keyword_required参数,否则会报错:

      Keyword arguments are required for this function
    

python2的调用方法为:

from tensorflow.python.ops.sparse_ops import KeywordRequired
import tensorflow as tf

a = tf.SparseTensor(indices=[[0,0],[1,1]],values=[1,2],dense_shape=(2,2))

b,c = tf.sparse_split(keyword_required=KeywordRequired(),sp_input=a,num_split=2,axis=1)

with tf.Session() as sess:
    print(sess.run(a))
    print(sess.run(b))
    print(sess.run(c))

这样就能解决报错的问题。

图嵌入原理与实战:从关系建模到推荐、风控等工业应用 图嵌入是一种将图结构数据(节点与边)映射为低维稠密向量的技术,其核心在于捕捉节点间的拓扑关系与语义相似性,而非依赖人工特征工程。它基于随机游走、矩阵分解或图神经网络等原理,学习节点在图中的结构角色与邻域模式,从而支撑高阶关系推理。该技术具备强泛化能力与可迁移性,广泛应用于推荐系统、社交网络分析、金融风控、知识图谱和异常检测等场景。尤其在用户行为建模与链接预测任务中,图嵌入能有效融合异构关系信号,显著提升模型对‘隐性关联’的识别精度——这正是Node2Vec、GCN等主流方法在真实业务中持续落地的关键价值。 阅读详情

相关推荐

【信息科学与工程学】计算机科学与自动化—第十五篇 云计算 11 算法篇01

编号类型领域问题问题的数学分析(含几何学/拓扑学/代数学/数论/集合论/离散数学/概率论/统计学/其他)及数值分析及算法分析及参数列表及参数数值设计C/C++/rust/python代码软件(含编译器)及硬件资源需求(CPU/GPU/内存【NAND/DRAM/HBM/其他】/HBM、HDD、SSD、RAID卡、其他)关联知识1工作负载调度数据中心最小化总完成时间/成本。

weixin_49199313的博客 226

Tensor高阶用法:快速掌握Tensor切分、变形等方法

Tensor高阶用法:快速掌握Tensor切分、变形等方法

weixin_42136255的博客 2913

【信息科学与工程学】计算机科学与自动化—第十五篇 云计算 11 算法篇02

但若第一个应用需求40GB/s,第二个10GB/s,总需求50GB/s>40GB/s,第一个得32GB/s,第二个得8GB/s,不公平。但若分区负载不均(分区1-2各有100任务/s,分区3-4各有50任务/s),A负责1-2(200/s),B负责3-4(100/s),仍均衡。任务 τi​ 的计算需求 Wi​(CPU周期),在频率 f 下执行时间 Ti​=Wi​/f,能耗 Ei​=Pdyn​⋅Ti​=Ceff​⋅V2⋅f⋅(Wi​/f)=Ceff​⋅V2⋅Wi​。若 Mneed​>Mi​,需使用远程显存。

weixin_49199313的博客 114

Pytorch:Tensor之间的拼接与拆分【拼接:cat、stack;拆分:split、chunk】

一、cat函数 二、stack函数 三、split函数 四、chunk函数 参考资料: Pytorch:Tensor的合并与分割

u013250861的博客 5080

【信息科学与工程学】计算机科学与自动化-——第十五篇云计算 12 公有云里的“多Region + 多AZ“ 02 运营算法01

算法逐步思考推理思考(含数学方程式、对象、资源、任务、进程/协程/线程及对应的代数、约束、目标函数/传递函数/依赖函数、参数及参数的数值范围及边界条件、逐步推理的数学方程式列表、上下文切换、并发/串行/随机/乱序/顺序)算法逐步思考推理思考(含数学方程式、对象、资源、任务、进程/协程/线程及对应的代数、约束、目标函数/传递函数/依赖函数、参数及参数的数值范围及边界条件、逐步推理的数学方程式列表、上下文切换、并发/串行/随机/乱序/顺序)云厂商提高闲置资源利用率。算法复杂度为O(N),N为实例数量。

weixin_49199313的博客 287

YOLOv5s模型训练全流程解析:从数据准备到实战检测

本文详细解析了YOLOv5s模型训练的全流程,涵盖从环境搭建、数据准备与格式转换,到模型训练、参数调优及实战检测的完整步骤。文章提供了具体的代码示例和常见问题解决方案,旨在帮助开发者,特别是新手,高效掌握YOLOv5s模型训练的核心技术,并成功应用于实际检测任务中。

weixin_29041767的博客 336

【PyTorch】张量 (Tensor) 的拆分与拼接 (split, chunk, cat, stack)

在 PyTorch 中,对张量 (Tensor) 进行拆分通常会用到两个函数: - torch.split [按块大小拆分张量] - torch.chunk [按块数拆分张量] 而对张量 (Tensor) 进行拼接通常会用到另外两个函数: - torch.cat [按已有维度拼接张量] - torch.stack [按新维度拼接张量] 它们的作用相似,但实际效果并不完全相同,以下会通过官方文档及实例代码来进行说明,以示区别

Panonsense 3万+

SAP物料分类账实战:从配置到月结的关键步骤(基于S/4HANA1909)

本文详细解析了在SAP S/4HANA 1909系统中,物料分类账从基础配置到月结操作的全流程。作为成本核算的核心,物料分类账通过多级价格确定实现实际成本核算,关键步骤包括激活物料分类账、配置自动过账科目(OBYC)、运行CKMLCP进行差异分摊与结算。文章旨在帮助财务与成本会计人员确保成本差异的准确归集与分摊,顺利完成月结。

weixin_28314575的博客 197

pytorch tensor合并与分割

pytorch tensor合并与分割

wyw0000的博客 1045

AR-HMM模型 自回归隐马尔可夫模型

AR-HMM模型 自回归隐马尔可夫模型 数据处理过程 输入的视频数据首先需要被裁剪以适合动物的大小,在这之后考虑到模型建立的目的为行为状态的分类,于是需要消除可能一帧里带有多个动作状态的行为成分,这个过程也就是对帧。对帧之后我们的为了适应模型训练还需要对每一帧的数据进行小波分解(类似傅里叶变换的信号重构),此时数据预处理阶段完成。 信号重构后的数据拥有的特征维度过多,因此需要应用主成分分析法(PCA)来选出对于分类结果贡献度最高的前十个分类特征。至此自回归隐马尔可夫模型的准备工作就完成了。 AR-HMM自

weixin_46263718的博客 2284

DeerFlow 系列教程 第三篇 | 核心技术深度剖析:Skills、Memory 与 Context Engineering

摘要化是 Context Engineering 中最关键的组件——它直接决定了长对话的可用性。Skills 技能系统通过渐进式加载的三层模型,在保持系统提示词轻量的同时,支持无限数量的技能扩展。从发现到执行的 10 个生命周期阶段,配合 AI 驱动的安全扫描和多层缓存,构成了一个生产级的技能管理框架。Memory 长期记忆系统通过文件系统持久化、LLM 驱动的信息提取和防抖动异步更新,实现了跨会话的认知持久化。六类事实分类体系和修正信号检测机制,让 Agent 能够从交互中持续学习和改进。

weixin_43674738的博客 280

tensor.chunk、split的组合、拼接、切片

import torch a = torch.zeros(2, 4) b = torch.ones(2, 4) out = torch.cat((a, b), dim=0) # 竖着拼接 print('a\n', a) print('b\n', b) print('out-dim=0\n', out) print('out-dim=0 shape\n', out.shape) out = torch.cat((a, b), dim=1) # 横着拼接 print('out-dim=1\n', out.

jjw_zyfx的博客 2687

OSG程序如何适配在无显卡的Ubuntu系统中

osg踩坑,希望遇到同样问题的人,可以尽快出坑,完美开发

大侠的后花园 459

TensorFlow2 CNN实战避坑指南:从数据加载到模型部署

卷积神经网络(CNN)是深度学习中处理图像数据的基础架构,其核心在于局部感受野、参数共享与层次化特征提取。在TensorFlow2框架下,CNN的有效实现不仅依赖理论理解,更取决于对张量维度契约、数据流完整性及训练-部署闭环的工程把控。本文围绕真实项目高频痛点——如输入形状不匹配、梯度异常、SavedModel导出失败等,系统解析tf.data.Dataset构建、tf.image预处理、Functional API建模、tf.GradientTape训练及TFLite转换等关键技术环节。特别强调Tenso

weixin_30606461的博客 443

qt实现OCC读取STEP模型并显示(附完整源码)

qt实现OCC读取STEP模型并显示(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 1484

Claude Code Cli 源码泄露事件全解析:从51万行代码中拆解AI Agent的记忆护城河

2026年3月,Anthropic的AI编程助手Claude Code意外泄露51万行核心代码,暴露了其多Agent架构、六级权限验证系统及创新的记忆机制。记忆系统采用四层设计:用户自定义框架、自动记忆提取、智能上下文压缩和纯文件存储。最独特的是"自动做梦"功能,AI会定期整理记忆,类似人类睡眠记忆巩固。代码还揭示未发布功能如电子宠物系统,但也暴露权限系统漏洞和代码质量问题。这次泄露展现了AI助手核心技术的复杂性,特别是其记忆系统如何通过透明可编辑的设计建立用户信任。

program哲学 472

训练模型(TF)

📌 TensorFlow 训练模型常见导入总结。

2501_94220570的博客 99

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

TensorFlow 2.x建模全解析:Sequential、函数式API与子类化实战对比

在深度学习模型构建中,理解不同建模方式的核心原理与适用场景是提升开发效率的关键。模型构建的本质是将神经网络层组织成计算图,以处理输入数据并产生预测输出。TensorFlow 2.x提供了三种主流建模方法,每种方法在灵活性、可维护性和工程化支持上各有侧重。从技术价值看,Sequential模型采用线性堆叠方式,适合快速原型开发;函数式API通过张量流定义任意有向无环图,支持多输入输出和复杂连接,是构建生产级模型的标准选择;而模型子类化则允许完全自定义前向传播逻辑,为研究性工作和动态网络提供了终极自由。这些方法

weixin_33895475的博客 479

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

EduRAG智能回答项目V1.0

本文介绍了基于企业私有数据构建RAG(检索增强生成)系统的完整流程。主要内容包括: 项目背景:针对大模型知识局限性和"幻觉"问题,提出两种解决方案——垂直领域微调和RAG问答系统,分析各自的优缺点及适用场景。 技术工具: 使用Ollama管理本地大模型 采用LangChain框架简化LLM应用开发 利用Milvus向量数据库存储和检索非结构化数据 系统实现: MySQL问答系统:基于BM25算法实现高频问答对检索 RAG系统:包含文档处理、向量存储、查询分类和策略选择等模块。

专注前端开发领域,深耕 Python AI Agent应用开发,热爱探索 Web 与人工智能的前沿技术。 271

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Pytorch学习(3):Tensor合并、分割与基本运算

文章目录前言一、合并Cat/Stack1.Cat2.Stack二、分割Split/Chunk1.Split2.Chunk三、基本运算1.加减乘除2.矩阵乘法mm/@/matmul3.幂运算**4.指数exp/对数log5.近似floor/ceil/round/trunc/frac6.裁剪(归化)clamp总结 前言 Pytorch学习笔记第三篇,关于Tensor的合并(cat/stack)、分割(split/chunk)与基本运算。 一、合并Cat/Stack 1.Cat Tensor中cat是co..

Leafing_的博客 6214

3.tensor的组块与分块

c=torch.cat([a,b],0)#0表示对a,b的行进行组合,此时行数相加,列数不变。d=torch.cat([a,b],1)#0表示对a,b的列进行组合,此时列数相加,行数不变。c2=torch.split(c,[2,1],1)#list元素代表每一个块占的维度。e=torch.stack([a,b],0)#a和b本身叠加(2,2,3)f=torch.stack([a,b],1)#按照每一行叠加(2,2,3)d2=torch.chunk(a,2,1)#沿着第1维分块,一共分两块。

weixin_71719718的博客 138

pytorch每日一学40(torch.split())将张量拆分为块(tensor的分割)

第40个方法 torch.split(tensor, split_size_or_sections, dim=0) 此方法和前面的torch.chunk()一样,都是将tensor进行切割的方法,但是这两有什么区别呢?其实我们split方法功能更多样一些。 看一下此方法的参数: tensor:要被切割的tensor。 split_size_or_sections:当此参数为整数时,意思是将tensor按照每块大小为split_size_or_sections来切割,当此参数为列表时,将此tensor切成

Fluid_ray的博客 1万+

PyTorch|Tensor基础操作:拼接、切分、索引和变换

在学习了Tensor的创建方法之后,接下来你可能会问:那么我们可以对Tensor进行哪些操作呢?不急,今天我们就来聊聊Tensor的操作方法。这部分主要包含两类:Tensor的基础操作:如拼接、切分、索引和变换Tensor的数学运算。

木千之 3087

tensor连接和拆分

tensor的连接 与拆分,tensor.cat(),tensor.stack(),torch.chunk、torch.split、torch.cat

m0_73282576的博客 833

tf.sparse

目录 1、类 1、__init__ 2、性质 3、__div__ 4、__mul__ 5、__truediv__ 6、consumers 7、eval 8、from_value 9、get_shape 2、函数 稀疏张量表示。 1、类 class SparseTensor:表示一个稀疏张量。 张量流将稀疏张量表示为三个独立的稠密张量:指标、值和dense_shape。...

weixin_36670529的博客 1256
上一篇: 【Tensorflow】使用get_variable和safe_embedding_lookup_sparse进行embedding并添加L2正则时的注意事项
下一篇: 【tensorflow】tensorflow:Scale of 0 disables regularizer原因
voidfaceless
博客等级 码龄10年 100粉丝 114原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值