在win下使用tsne报错：memoryError，怎么解决？

最新推荐文章于 2025-05-17 09:32:27 发布
最新推荐文章于 2025-05-17 09:32:27 发布
阅读量2.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python linux学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lc22xytcedu/article/details/76259306
本文介绍了一种优化版本的t-SNE算法——bhtSNE，在处理大规模数据集时能够有效避免内存溢出等问题。文章详细记录了bhtSNE在Linux环境下的安装步骤，并提供了一个简单的Python示例来展示如何使用该工具进行数据降维。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如果在win下使用tsne（matlab版本或者python版本），如果数据量太大，都会报错，那么可以使用tsne的优化版本叫做bhtsne，下载地址：https://github.com/lvdmaaten/bhtsne/

1、下载之后，可在win下安装，也可在Linux下安装，鉴于Linux下安装比较简单易操作，我直接在Linux安装了

2、cd  bhtsne-master

3、g++ sptree.cpp tsne.cpp tsne_main.cpp -o bh_tsne -O2

4、写一个bhtsneDome.py的代码（这是win下写的代码，因为没有安装bhtsne，所以有红线，Linux下就没有）


5、copy bhtsneDem.py 到 bhtsne-master，然后python bhtsneDem.py，点击enter，搞定

6、输出就是降维之后的数据


Python中的MemoryError错误
一个不懂编程的编程大佬，当一个人面对疾风，走上前去当一个逆行者，才是卫国黑客（AI终将代替人类）
07-13 1179
本文将介绍MemoryError错误的原因、如何处理它以及一些预防内存错误的最佳实践。memory_profiler模块：memory_profiler模块提供了一种逐行分析内存使用情况的方法。您可以使用@profile装饰器对函数进行注释，并使用mprof命令行工具分析内存使用情况。当我们尝试计算这个列表的总和时，可能会遇到MemoryError错误，因为Python解释器无法为这么大的数据集分配足够的内存。如果您的计算机具有更多的可用内存，那么您可以尝试增加可用内存来解决MemoryError错误。
MITIE模型训练与 内存溢出 bad allocation解决 (win10)
攻城争先登
09-11 1万+
目录 一、前置准备 1.语料库 2.Cmake 3.Visual Studio 二、MITIE模型训练 三、内存溢出 bad allocation 一、前置准备 1.语料库 参考本文：Word2Vec demo，语料库处理以及word2vec训练 (Win10环境) 完成（一）至（五）中文分词步骤即可获得结巴分词处理后的语料库 2.Cmake 参考本文：Windows下CMake安装教程 Windows下需要安装cmake,Cmake官网：https://cmake.org/...
python程序memory error_如何处理“ MemoryError”？用Python代码
weixin_39608300的博客
12-05 317
I have some piece of python code which generates a MemoryError after a while. I know that it consumes a lot of memory.So, I decided to put the code within a try/except block so that the skeleton looks...
【降维】t-SNE
最新发布
wwl412095144的博客
05-17 1167
t-SNE（t-distributed Stochastic Neighbor Embedding）是一种非线性降维技术，由Laurens van der Maaten和Geoffrey Hinton于2008年提出，主要用于高维数据的可视化和聚类分析。
memoryerror!!!!
qq_39682365的博客
10-14 856
最近加载图像训练，笔记本控制台输出memoryerror! 我在想导致这个的原因真的是数据太大，GPU太小溢出吗？？ 1、数据过大，数据重复加载 2、电脑打开的程序串口多，关机重启 3、换台电脑再试一下程序 方法总比困难多。。 ...
MemoryError的处理方式
Explore
07-21 1万+
MemoryError几种处理方式： 1. 低精度保存数据； 2. 更新Python为64位； 3. 修改PyCharm运行内存； 4. 扩充虚拟内存； 5. 优化数据读取方式； 6. 手动回收变量。
【Python报错】MemoryError
热门推荐
mie haha
11-15 2万+
报错： (上图是在虚拟机中运行服务器代码的时候出现的报错) MemoryError：涉及到了读取、保存、写入，内存不够用了 解决方法： 检查安装64位python，64位python内的pandas和Numpy都是64位，内存更大。 如果在虚拟机中运行：设置虚拟机内存大小即可（我使用的这种方法） 再次运行，不再报错： ...
Python MemoryError 问题
小牧在一直在学习,在前进的道路上大家一起学习，进步。
06-16 1132
MemoryError 问题就是内存不够用了, 简单的方法就是添加内存,个人感觉没有什么好的优化方法 比如我写一个计算问题 print(bytes(10000000000000)) 这个打印就会出现MemoryError 问题
pickle错误“MemoryError”
xulingqiang的专栏
09-05 2361
问题描述：32位 Python 使用pickle 加载较大的数据时，发生了“MemoryError” 错误。 解决办法：换成64位的就可以了
read file memoryerror
dlhlSC的博客
11-05 502
读取文件代码： lines=file("myfile.txt").read().split("\n") 分析：文件过大，不能一次性读入内存 解决方法： with open("myfile.txt") as myfile: for line in myfile: do_something(line.rstrip("\n")) ...
OutOfMemoryError
答案是肯定的
02-12 627
在解决这个问题前，要对jvm的内存机制有一定的了解。 对于Jvm的内存大致分为三个部分：permanent generation space(永久保存区域)，heap space(堆内存)，java stacks(java栈)。还有一个本地内存，就是jvm用于其内部操作的 本地内存，如jni以及第三方的模块，jdbc的加载就用的是本地内存 永久保存去存放的是应用启动时加载的class以及met
pip memoryerror & oserror
BVL的博客
11-09 1840
在github clone下一个项目 利用pip install -r requirements.txt 时 报错 pip traceback 。。。最后显示memoryerror解决方案：输入改成 pip –no-cache-dir install -r requirements.txt 即可
Memory Error问题的解决方法
weixin_42547085的博客
09-20 1万+
Memory Error 问题 在用Python读取数据的时候，遇到Memory Error 问题，数据大小约为4G 解决方法 扩大虚拟内存，操作方法为 1、打开 控制面板； 2、打开 系统； 3、打开 高级系统设置； 4、点击 性能----设置； 5、点击 高级----虚拟内存----更改； 6、取消选中“自动管理所有驱动器的分页文件大小”，选择D盘（其他盘应该也可以）； 7、选择 系统管理的大小； 8、点击 设置----确定----重启电脑。 ...
(原创)scrapy的MemoryError(后续)
wangtua的博客
07-26 8325
scrapy的MemoryError后续 问题 分析scrapy的MemoryError（后续）问题之前写过一篇关于scrapy的MemoryError的博客，主要是介绍了MemoryError这个异常出现的原因和解决方案，但是对于其原因的探讨似乎还是不太明了，这次我们来深入探讨一下这个问题。 “`分析这个问题真正的原因是因为scrapy在大文件下载时出现的一个bug所致，深入分析其源代码可以发现
linux执行python memoryerror,Python / Numpy MemoryError
weixin_39926042的博客
02-17 254
Basically, I am getting a memory error in python when trying to perform an algebraic operation on a numpy matrix. The variable u, is a large matrix of double (in the failing case its a 288x288x156 mat...
MemoryError**：内存不足的完美解决方法
沉淀所学，分享所思，让热爱与成长同行。商务记录AI实战经验，助力开发者快速成长。 热爱AI，希望做出有影响力的技术成果。 技术点亮生活，分享连接价值与机会。 专注AI落地实战，陪你走好技术每一步。
08-15 1549
大家好，我是默语！在Python开发中，MemoryError是一种常见的错误，通常发生在程序试图分配超过可用内存的资源时。这种错误在处理大数据集、进行复杂计算或操作大型文件时尤其容易出现。今天，我将详细讲解如何有效地解决和预防内存不足的问题，并分享一些最佳实践，以确保你的Python程序能够高效稳定地运行。是在Python程序尝试分配的内存量超过了系统可用的内存时引发的异常。以下是一个典型的# 尝试创建一个超大的列表，可能会导致MemoryError。
解决memoryerror
qq_42133342的博客
03-23 1947
解决pycharm中memoryerror错误
#####比较恼火的阶段，记录一下memoryerror
qq_39682365的博客
08-07 421
问题描述： 一种图片，它的shape是，!这是输出的shape大小在这里插入图片描述，当使用img = io.imread(dir) img = np.array(img) im = Image.fromarray(img),这句会有错误发生，是数据溢出，各种百度找不到解决方法。。。。 接着我用裁剪，把它变小，发现数据也无法达到，出现索引越界，爆炸 ...
解决Python中出现的Memory Error的问题
weixin_36976645的博客
10-15 1万+
最近刚刚学习Python，用的软件是PyCharm。在手打了一个基于物品的推荐算法，并且跑一个20000+的数据集时，出现了Memory Error错误。一开始以为是代码问题，后面才发现自己的内存已经到达了80%+了。查阅相关资料，这个大哥写的很不错，大家可以去看看。 l解决Python memory error的问题（四种解决方案）. 这是我自己出现的问题 我分析了一下出现这个错误的原因： 1....
TSNE报错MemoryError: std::bad_alloc怎么办
06-02
这个错误通常是由于内存不足导致的。有一些方法可以尝试解决这个问题： 1. 减少数据集大小：可以尝试减少数据集的大小，比如只使用数据集的一部分，或者使用降维方法来减少数据集的维度。 2. 增加内存：如果你的计算机内存较小，可以考虑增加内存或者使用具有更大内存的计算机。 3. 更改TSNE参数：可以通过调整TSNE参数来减少内存使用量，例如减少perplexity或者使用更小的批量大小等。 4. 尝试其他降维方法：如果以上方法都无法解决问题，可以尝试使用其他的降维方法，例如PCA、LLE等。这些方法可能不如TSNE表现得好，但是它们通常需要更少的内存。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值