python 稀疏存储与计算-scipy.sparse学习笔记（持续更新...）

最新推荐文章于 2024-05-30 10:52:52 发布
最新推荐文章于 2024-05-30 10:52:52 发布
阅读量5.2k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shevchenkoNIIT/article/details/77747811
本文介绍了Scipy.sparse模块中的稀疏矩阵类型，包括csr_matrix、csc_matrix、coo_matrix、bsr_matrix、dia_matrix、dok_matrix和lil_matrix，详细阐述了各自的优缺点以及适用场景。重点讨论了在稀疏矩阵计算中如何选择合适的存储格式，并提到了矩阵运算的注意事项，如matrix.multiply()的使用和lil_matrix在特定操作中的效率优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >



官网链接：https://docs.scipy.org/doc/scipy/reference/sparse.html


常用的几种稀疏矩阵存储形式以及适用场景：


1. csr_matrix:

     优点：1. 能进行高效的算术运算。如：csr+csr，csr*csr

               2. 行切片很高效

               3. 矩阵向量内积很快

     缺点：1. 列切片很慢 （可以考虑csc）

               2. 稀疏结构的改变很昂贵（可以考虑lil，dok）

2. csc_matrix:

     优点：1. 同上能进行高效的算术运算

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python学习----使用稀疏特征对文本文档进行分类
临风暖阳的博客
05-08 463
This is an example showing how scikit-learn can be used to classify documents by topics using a bag-of-words approach. This example uses a scipy.sparse matrix to store the features and demonstrates various classifiers that can efficiently handle sparse ma.
【Python】SciPy
最新发布
宅男很神经
06-28 1028
SciPy（Scientific Python）是一个基于Python的开源软件库，专门用于科学计算和技术计算。它建立在NumPy数组对象的基础上，并提供了大量的、用户友好的、高效的数值例程，如数值积分、优化、统计、信号处理、图像处理、线性代数等。可以毫不夸张地说，SciPy是Python在学术研究、工程计算以及数据科学等领域取得广泛应用的关键支柱之一。在整个Python科学计算的生态系统中，SciPy扮演着承上启下的核心角色：基石：NumPy NumPy提供了高性能的多维数组（）对象，以及操作这些数组的基
scipy sparse matrix multiplication矩阵乘法
bagba的知识分享库
09-02 2310
scipy sparse matrix multiplication 矩阵乘法
Python scipy.sparse稀疏矩阵使用感悟
lishu14的博客
12-12 7894
默认使用csr格式的稀疏矩阵 1、如果要统计稀疏矩阵全部元素的和，不要用sum(a)，用np.sum(a)或则a.sum()就好。对于shape=10000*10000的矩阵而言，全部求和采用np.sum比sum高效得多： number = np.sum(sum(xtest_mask),axis=1)[0,0]   2.2秒 number = np.sum(xtest_mask)  0.00...
机器学习中稀疏矩阵的处理方式和Python实现
Python开发工程师
09-04 2万+
在矩阵中，如果数值为0的元素数目远远多于非0元素的数目，并且非0元素分布无规律时，则称该矩阵为稀疏矩阵；与之相反，若非0元素数目占大多数时，则称该矩阵为稠密矩阵。 大的稀疏矩阵在一般情况下是通用的，特别是在应用机器学习中，例如包含计数的数据、映射类别的数据编码，甚至在机器学习的整个子领域，如自然语言处理（NLP）。 教程概述 本教程分为5部分;分别为: 稀疏矩阵 稀疏的问题 机器学习中...
scipy.sparse的一些整理
热门推荐
1步N步的博客
05-15 3万+
scipy.sparse scipy.sparse的稀疏矩阵类型 scipy.sparse中的矩阵函数 构造函数 判别函数 其他有用函数 scipy.sparse中的作用在矩阵的内函数 针对元素的函数 转化函数 其他函数 从下面的Scipy官网对Scipy的描述可以发现：其实SciPy是基于python的用于数学、科学以及工程计算的开源生态系统。数据分析常用的numpy，pan...
04-python-稀疏矩阵-线性代数-稀疏矩阵的线性代数
02-09
总结来说，理解和掌握Python中的稀疏矩阵与线性代数是进行高级数据分析和科学计算的关键。通过`scipy.sparse`模块，我们可以高效地存储、操作和解决涉及大量零元素的矩阵问题，这对于处理大规模数据集尤其有用。同时...
154、Python稀疏矩阵：存储与计算的艺术
silenceallat的博客
05-30 1054
本文介绍了Python中稀疏矩阵的存储和计算方法，强调了其在处理大规模稀疏数据时的优势。通过`scipy.sparse`库，可以高效地创建和操作稀疏矩阵，从而节省存储空间并提高计算效率。文章结合实际案例，如社交网络分析、自然语言处理、金融风险分析和大气化学模型，展示了稀疏矩阵在各个领域的应用，并提供了实用的技巧和最佳实践。掌握稀疏矩阵的使用对于软件开发者来说具有重要意义。
Python数学建模-2.7SciPy库
2202_75971130的博客
03-19 1803
今天学习SciPy库，SciPy库是Python中一个非常重要的科学计算库，它基于NumPy库，提供了大量的数学、科学以及工程计算中需要的函数和方法。
用于编程竞赛的Python库_Python_下载.zip
04-25
4. **图论与网络流**：Python库`networkx`可以帮助处理图论问题，`scipy.sparse`处理稀疏矩阵，适合大规模图的运算。 5. **数学库**：`math`库提供了基本的数学函数，`numpy`和`scipy`则提供了更高级的数学计算和...
python计算稀疏表示的TF-IDF
Bryan__的专栏
04-02 4268
使用sklean的计算方法，这种结果是稠密矩阵，如果数据集太大，计算结果将会占满内存，或者直接报MemeryError的错误。 tfidf详细计算参考：https://blog.csdn.net/Eastmount/article/details/50323063 import jieba import jieba.posseg as pseg import os import ...
python 求向量间内积 和外积
rourouwanzi1992的博客
05-09 6438
#内积可以描述向量间的投影关系，大小为 |a| |b|cos⟨a, b⟩： python 向量内积求向量长度： import numpy as np a=np.asarray([1,1,1]) print(np.sqrt(a.dot(a))) print(np.linalg.norm(a)) python 求向量外积 #外积的方向垂直于这两个向量，大小为 |a| |b|sin ⟨a, b⟩，是两个向量张成的四边形的 #有向面积。对于外积，我们引入了 ∧ 符号，把 a 写成一个矩阵。事实上是一个反对称矩阵
Graph Convolution Network图卷积网络（二）数据加载与网络结构定义
祥瑞的技术博客
04-19 1万+
背景 : 弄懂Graph Convolution Network的pytorch代码如何加载数据并且如何定义网络结构的。 代码地址：https://github.com/tkipf/pygcn 论文地址：https://arxiv.org/abs/1609.02907 Semi-Supervised Classification with Graph Convolutional Network...
Python将非对称邻接矩阵转变为对称邻接矩阵(有向图转无向图)
iamjingong的博客
07-26 4981
import numpy as np from scipy.sparse import coo_matrix adj = coo_matrix((np.ones(5), ([3, 4, 0, 2, 1], [0, 2, 1, 4, 3])), shape=(5, 5), dtype=np.float32) adj = adj + adj.T.multiply(adj.T > adj) -...
python coo_matrix的理解和用法
ping550的专栏
09-04 1万+
1. 理解和用法 首先ffm格式（主key，副key，1）数据如下：第一列是lable，后面是x（特征值） 举例2：3:1表示 源数据第2列，索引为3 源数据test.txt：（其中第8列是连续型特征没有离散化，其他列是离散型特征） 1 2:3:1 3:5:1 5:7:1 7:10:1 8:14:1.2 0 1:1:1 2:4:1 6:9:1 7:10:1 8:14:2.3 1 2:3:1...
稀疏矩阵相乘-Python版
AcceptedLin的博客
09-02 4259
                                      稀疏矩阵相乘-Python版 Given two sparse matrices A and B, return the result of AB. You may assume that A's column number is equal to B's row number. Example: A = [ ...
scipy.sparse模块解决稀疏矩阵的存储问题
机器学习笔记
04-22 8027
最近在做腾讯算法广告大赛，样本数高达1100多W，这个时候用numpy矩阵存储特征向量会出现memory error，而且特征本身是稀疏的，也就是大部分元素都为0。查了一些资料后发现scipy库中的sparse模块能很好的解决这个问题，先附上scipy.sparse的文档网址：https://docs.scipy.org/doc/scipy/reference/sparse.html。 ...
scipy.sparse.csr_matrix
m0_37443131的博客
08-07 2374
  地址：https://docs.scipy.org/doc/scipy-0.18.1/reference/generated/scipy.sparse.csr_matrix.html     scipy.sparse.csr_matrix class scipy.sparse.csr_matrix(arg1, shape=None, dtype=None, copy=False)[s...
使用scipy.sparse保存稀疏矩阵
Candy_boy
09-21 1219
from scipy import sparse from scipy.sparse import hstack, csr_matrix import os fname = 'df.npz' if not os.path.exists(fname): df = get_df() df = hstack([csr_matrix(df), csr_matrix(df)]) sp...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值