Python读二进制文件遇到的问题

最新推荐文章于 2024-07-08 09:12:20 发布
原创 最新推荐文章于 2024-07-08 09:12:20 发布 · 4.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #fp #path #文档 #float #struct

在Python中读取二进制文件时遇到'0x1A'字节导致误判为EOF，通过以'rb'模式打开文件解决。使用struct模块的unpack方法转换二进制数据为float类型，遇到1A字节可能导致数据错乱，正确打开方式避免此类问题。

 

近日，需要用Python读取二进制文件（见上图），然后解析出想要的数据，转化成16进制，在显示出来

 

   

 

遇到到一个莫名的问题，遇到'0x1A'的字节就会读不出来，费了差不多一天时间，发现Python会将这个字符认为是文档结束符EOF。

 

 

 

最低0.47元/天 解锁文章
Python文件读写：文本与二进制文件处理
涛哥聊Python
08-20 1993
本文详细介绍了Python中文本文件和二进制文件的读写操作，包括文件的打开、读取、写入、追加和关闭等基本操作，同时讲解了如何进行异常处理。通过具体的示例代码，展示了如何高效地处理文件，例如逐行读取文件、写入文件、复制文件、统计文件信息以及处理JSON文件等实际应用场景。掌握这些文件操作技巧，能够帮助大家在Python编程中更加灵活地处理各种文件，提高代码的可读性和可维护性。
使用Python读取二进制文件内的信息
weixin_43027843的博客
12-27 5542
使用Python读取二进制文件内的信息
python二进制文件读写文件错误_在不知道结构的情况下使用python读取二进制文件...
weixin_35902426的博客
12-24 240
I have a binary file containing the position of 8000 particles.I know that each particle value should look like "-24.6151..." (I don't know with which precision the values are given by my program. I g...
python utf-8 128出错
allen6268198的专栏
05-02 899
这是一个很有意思的问题，让我来从头讲起。 首先，我们看看help(chr)，可以知道Return a Unicode string of one character with ordinal i; 0 <= i <= 0x10ffff. 所以chr(i)函数实际上返回的是Unicode编码表中的一个字符，参数i指定了这个字符在Unicdoe编码表中的位置。PS1：Unicode编码表是...
python 读取二进制 显示图片
热门推荐
宁静以致墨的专栏
06-14 2万+
import matplotlib.pyplot as plt import numpy as np f = open('bwall.bmpx', mode='rb') x = np.fromfile(f, dtype=np.ubyte) #x = x[0:1920] x = x[1920:3840] #x = x[3840:5760] x = x.reshape(60,32) #print((
python使用matplotlib显示图像失真问题
无名的博客
12-26 6681
在python显示图象时，我们用matplotlib模块时会遇到图像色彩失真问题，究竟是什么原因呢，下面就来看看究竟。 待显示图像为： import cv2 from matplotlib import pyplot as plt img = cv2.imread('demo_2.jpg',0) plt.imshow(img, cmap = 'gray', interpolation = 'b...
python处理二进制文件_Python二进制文件读取并转换为浮点数详解
weixin_39880621的博客
11-24 575
本文所用环境：Python 3.6.5 |Anaconda custom (64-bit)|引言由于某些原因，需要用python读取二进制文件，这里主要用到struct包，而这个包里面的方法主要是unpack、pack、calcsize。详细介绍可以看：Python Struct 官方文档。这里主要讨论，python二进制转浮点数的操作。python中一个float类型的数占4个字节。二进制数据转...
linux下打包python为二进制文件遇到的一些问题（glibc兼容问题，gcc兼容问题）
12-21
在Linux环境下将Python脚本打包成可执行的二进制文件时，经常会遇到与系统库兼容性的问题，尤其是glibc和gcc。这个问题在标题和描述中都有提及，主要集中在两个方面：glibc的版本兼容性和gcc的版本问题。 首先，让...
Python 二进制转码的问题
01-20
Python 语言的语法简单快捷，但是转码/编码的总让人头痛不已，特别是涉及到文件是二进制的情况下，本人在用Python读取二进制文件的时候遇到了不能转换的问题，查阅了许多网站，无论是大家建议的encode/decode，还是...
读取二进制文件，byte[]转int型
09-10
在IT行业中，处理二进制文件是常见的任务，特别是在低级...关键在于使用`fread()`函数，并理解二进制文件的性质以及可能遇到的字节顺序问题。通过不断实践和学习，你可以掌握这些技能，并将它们应用到更复杂的系统中。
python如何读取二进制文件为图片_python读取图片，并获取每个像素点的二进制值...
weixin_39586335的博客
11-24 1174
python进行图片处理或识别的时候，通常第一步是获取每个像素的二进制值。（python 版本号为3.5）具体过程如下：1、如果没有安装image包，则首先需要安装image包。命令：pip3 install image2、将图片转为二进制图片。3、获取二进制图片中每个像素点的像素值。4、将以为数组转化为原像素大小的二维数组。参考：http://blog.youkuaiyun.com/vange/articl...
Python文件读取编码问题解决方案
Leon_Jinhai_Sun的博客
07-08 688
Python文件读取编码问题解决方案
python3 read(f)_Python f.read没有读取正确的字节数
weixin_39929721的博客
12-15 368
你假设读取做了它不做的事情.正如其文档告诉您：read(...)read([size]) -> read at most size bytes, returned as a string.它最多读取大小字节如果您需要精确的大小字节,则必须创建包装函数.以下是您可以调整的(未经过全面测试的)示例：def read_exactly( fd, size ):data=""remaining= si...
python 处理底层数据
JackLiu16的博客
11-01 1128
python  底层数据处理
python读取二进制数据(包括图片)
mjiansun的专栏
11-28 6782
经查找资料（https://stackoverflow.com/questions/8328198/pil-valueerror-not-enough-image-data） 得知该图片为jpg格式，包括了图片的原始（jpg压缩后的）数据和（jpg）文件头，而frombytes只能读取纯二进制数据。
python opencv读取二进制图片文件
weixin_50897886的博客
02-08 6184
首先我们看opencv处理的文件类型：是numpy的数组 numpy.ndarray 但是从数据库读取的文件是二进制文件，其类型是bytes，要经历两步数据类型转换 第一步，转换成jpg等图片格式，代码如下： from io import BytesIO import numpy as np from PIL import Image image_data = BytesIO(二进制文件对应变量) img = Image.open(image_data) 第二步：转换成numpy.adarray
Python基础（十四）——文件操作（read、readline、readlines）
陌上人如玉，公子世无双。
07-23 6564
本文以Python3以上为学习基础。 read、readline、readlines都是取文件内容。 三者有什么区别？ 我们先看三个函数的语法格式： fileObject.read([size]) size：如果指定了参数size，就按照该指定长度从文件中读取内容，否则，就读取全文。被读出来的内容，全部塞到一个字符串里面。 这样有好处，就是东西都到内存里面了，随时取用，比较快捷；“成也萧何败萧何”，也是因为这点，如果文件内容太多了，内存会吃不消的。 ...
python stl文件_Python：解析二进制stl文件(Python: parsing binary stl file)
weixin_39645165的博客
02-09 611
I'm having some difficulties while parsing a binary STL file with Python (2.7.1 32-bit and Windows 7 64). The file is a about 450k in size, but my parser suddenly stops working after parsing 244 trian...
python大型二进制文件解析
最新发布
10-27
<think>我们正在处理一个关于如何使用Python解析大型二进制文件的问题。根据提供的引用，我们可以总结以下几点关键信息： 1. 引用[1]指出Python处理二进制文件的基本方法，并提到在数据分析、游戏开发和网络编程等场景中常见二进制文件处理。 2. 引用[2]展示了一个具体的示例代码，使用`struct`模块读取一个包含20亿个2字节数的二进制文件，每次读取2个字节并解析为short类型（有符号短整数）。 3. 引用[3]提到写入二进制文件以及在大型二进制文件中编辑单行可能遇到的问题，尤其是编码问题。 用户的需求明确为“查找使用Python解析大型二进制文件的方法”。由于文件可能非常大（例如20亿个数据），我们需要考虑内存效率和性能。 ### 解析大型二进制文件的步骤 1. **打开文件**：使用二进制模式（'rb'）打开文件。 2. **读取文件内容**：由于文件很大，我们不能一次性加载到内存中。因此，需要分块读取。 3. **解析二进制数据**：使用`struct`模块解析二进制数据。我们需要知道数据的格式（如每个数据占几个字节，字节顺序，数据类型等）。 4. **处理数据**：对解析出的数据进行进一步处理（如图形绘制、拟合等）。 5. **关闭文件**：使用完文件后关闭，或使用`with`语句自动关闭。 ### 关键点 - **分块读取**：避免一次性加载大文件导致内存不足。可以每次读取固定字节数（如每次读20000个数据对应的字节数）。 - **使用`struct`模块**：该模块可以将字节字符串解析为Python数据类型。格式字符串中，`'h'`表示一个2字节的有符号短整数（即short），`'H'`表示无符号短整数，其他常见格式字符有： - `'b'`：有符号字符（1字节） - `'B'`：无符号字符（1字节） - `'i'`：有符号整数（通常4字节） - `'I'`：无符号整数（通常4字节） - `'f'`：单精度浮点数（4字节） - `'d'`：双精度浮点数（8字节） - **字节顺序**：在格式字符串前可加字符表示字节顺序，如`'<'`小端，`'>'`大端，`'!'`网络字节序（大端）。默认由系统决定，但通常最好明确指定。 ### 示例代码改进 引用[2]中的示例每次只读取一个数（2字节），对于20亿个数来说效率较低。我们可以一次读取多个数据（例如20000个）来提高效率。 假设文件“run0035.bin”中存储了20亿个有符号短整数（每个2字节），我们可以这样读取： ```python import struct def read_large_bin_file(file_path, chunk_size=20000): # 每个数据占2字节，因此每个块读取的字节数为chunk_size * 2 with open(file_path, 'rb') as f: while True: # 读取一个块 chunk_bytes = f.read(chunk_size * 2) if not chunk_bytes: break # 计算当前块包含的数据个数 num_data = len(chunk_bytes) // 2 # 解析块: 使用格式字符串'h'，但重复num_data次，所以格式字符串为f'{num_data}h' # 注意: 这里我们假设数据是小端字节序，所以使用'<'，如果不确定可以不加或根据实际情况调整 data_chunk = struct.unpack(f'<{num_data}h', chunk_bytes) # 此时data_chunk是一个包含num_data个整数的元组 # 进行数据处理，例如绘图、拟合等 process_chunk(data_chunk) def process_chunk(chunk): # 这里可以处理每个块的数据，比如添加到列表或者直接绘图 # 注意：如果需要对整个文件的数据进行全局拟合，则不能分块，只能全部读入（但文件太大时不行），或者采用增量方法 pass if __name__ == '__main__': read_large_bin_file('run0035.bin') ``` ### 注意事项 1. **字节顺序**：根据二进制文件的实际存储方式选择正确的字节顺序（小端或大端）。如果不确定，可能需要尝试或查看文件格式说明。 2. **文件结构**：二进制文件可能包含文件头（metadata）或特殊结构。在读取数据之前，可能需要跳过文件头。例如，如果文件开头有512字节的文件头，则可以先`f.read(512)`跳过。 3. **数据类型和大小**：必须准确知道每个数据的数据类型和所占字节数。 4. **内存管理**：分块读取可以避免内存问题。但如果需要整个数据集进行全局处理（如排序），则可能需要其他策略（如外部排序）或使用更高效的数据结构（如NumPy数组，如果内存允许）。 5. **性能优化**：使用较大的块读取（如每次读取几MB）可以提高I/O效率。 ### 替代方法 - 使用`array`模块：如果数据是同一类型的数值，可以使用`array`模块，它可以直接从二进制文件中读取数据到数组，但要注意它可能需要一次性读入整个文件（除非使用`array.fromfile`并分块读）。 - 使用NumPy：对于数值计算，NumPy提供了高效的二进制文件读取函数（如`np.fromfile`），并允许分块读取（通过指定`count`参数）。例如： ```python import numpy as np dtype = np.dtype('<h') # 小端有符号短整数 with open('run0035.bin', 'rb') as f: while True: # 每次读取20000个数据 chunk = np.fromfile(f, dtype=dtype, count=20000) if chunk.size == 0: break process_chunk(chunk) ``` ### 总结 解析大型二进制文件的关键在于： - 正确解析二进制数据的格式（使用`struct`或`numpy`）。 - 分块读取以控制内存使用。 - 根据实际需求处理数据。 §§相关问题§§ 1. 如何确定二进制文件的字节顺序（大端或小端）？ 2. 如果二进制文件包含不同数据类型（混合类型）的数据，如何解析？ 3. 使用NumPy处理大型二进制文件有哪些优势？ 4. 在解析二进制文件时如何处理文件头（header）？ </think>### Python解析大型二进制文件的方法 在Python中解析大型二进制文件需要兼顾效率和内存管理，以下是核心方法和最佳实践： #### 1. **使用`struct`模块解析结构化数据** 这是处理二进制数据的标准方法，特别适合固定格式的数据： ```python import struct def read_large_bin(file_path, chunk_size=20000): with open(file_path, 'rb') as f: while True: # 每次读取chunk_size*2字节（每个数占2字节） chunk = f.read(chunk_size * 2) if not chunk: break # 解析小端序有符号短整数（'h'） data = struct.unpack(f'<{len(chunk)//2}h', chunk) # 处理当前数据块... ``` **关键点**： - 格式字符 `h` 表示2字节有符号整数（short） - `<` 表示小端字节序（可改为 `>` 或 `!`） - 分块读取避免内存溢出（`chunk_size` 推荐1-10MB） - 支持所有C语言数据类型（`i`-整型, `f`-浮点等）[^1][^2] #### 2. **内存映射文件处理超大文件** 使用`mmap`直接映射磁盘文件，避免加载整个文件： ```python import mmap with open('large.bin', 'rb') as f: with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm: # 直接访问文件内容如内存 header = mm[0:4] # 读取前4字节 # 配合struct解析特定位置 value = struct.unpack('i', mm[100:104])[0] ``` #### 3. **NumPy高效数值处理** 对数值型二进制数据推荐NumPy： ```python import numpy as np # 直接映射文件为数组 data = np.memmap('data.bin', dtype='int16', mode='r') # 每20000个数据处理 for i in range(0, len(data), 20000): chunk = data[i:i+20000] # 拟合/绘图等操作... ``` **优势**： - 原生支持多维数组和向量化操作 - 自动处理字节顺序（`dtype='>i4'`指定大端序） - 零拷贝内存映射[^1] #### 4. **分块处理与流式读取** 通用迭代读取框架： ```python def chunked_reader(file_path, chunk_size=1024000): # 1MB块 with open(file_path, 'rb') as f: while chunk := f.read(chunk_size): yield chunk for chunk in chunked_reader('huge.bin'): # 逐块处理逻辑... ``` #### 5. **处理复杂结构** 嵌套结构使用`struct`嵌套解析： ```python # 解析包含(int, float, char[10])的记录 record_format = '<if10s' # 小端序 record_size = struct.calcsize(record_format) with open('data.bin', 'rb') as f: while record := f.read(record_size): id, value, name = struct.unpack(record_format, record) name = name.decode('utf-8').rstrip('\x00') ``` ### 最佳实践建议 1. **明确文件格式**：提前确认字段类型、偏移量、字节顺序 2. **缓冲区大小**：根据系统内存设置合理块大小（通常1-10MB） 3. **错误处理**：添加异常捕获应对截断文件 4. **性能监控**：使用`tqdm`显示进度条处理超大文件 ```python from tqdm import tqdm file_size = os.path.getsize('huge.bin') with open('huge.bin', 'rb') as f: for _ in tqdm(range(0, file_size, chunk_size)): chunk = f.read(chunk_size) ... ``` ### 注意事项 - 大端/小端问题：通过格式字符（`>`/`<`）明确指定 - 内存管理：处理完成后手动删除大对象或使用`del` - 并行处理：对独立数据块可用`concurrent.futures`加速[^2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值