python读取大文件踩过的坑——读取txt文件

最新推荐文章于 2024-08-08 07:31:06 发布

原创

最新推荐文章于 2024-08-08 07:31:06 发布 · 840 阅读

0 ·

CC 4.0 BY-SA版权

这篇博客讲述了在处理3G大小的txt文件时遇到的内存问题，作者尝试了多种方法读取并保存为npy文件。问题在于内存不足和数据类型占用内存的差异。通过使用特定的读取策略和优化数据类型，最终能够读取到词向量的id，但仍然存在内存错误。解决方案包括使用更大内存的主机和将词向量转换为float类型以减少内存占用。

读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时，选择了一个有3G多的txt文件，之前在做词向量时用的是word2vec，所以直接导入模型然后indexword即可。

因为这是一个txt大文件，尝试了DataFrame，np.loadtxt等，都没有成功，其中主要遇到的问题是：

如何读取完整的大文件，而不会出现内存不足memery error等问题
将读取出来的文件，保存为npy文件
根据词找到对应的向量
解决办法：

尝试使用的代码：

代码1:
try:
lines=np.loadtxt(filepath)
catch:
感觉这块不会写了咦，，，
print(ValueError)
但这样的话，它就不会继续循环去读上边的txt了呢
代码2：
lines=[]
with open(filepath) as f:
for line in f:
      lines.append()
np.save(filepath,lines)
代码3

def readEmbedFile(embedFile):
#    embedId = {}
#    input = open(embedFile,'r',encoding="utf-8")
#    lines = []
#    a=0
#    for line in input:
#