Python3 分割二进制文件为小文件

最新推荐文章于 2024-05-30 10:17:04 发布
最新推荐文章于 2024-05-30 10:17:04 发布
阅读量522 收藏 2
点赞数
分类专栏： python 文章标签： python linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/myjiayan/article/details/132454331
版权

#Python3 分割二进制文件为小文件
Python作为脚本语言可以十分方便地编辑文件包括二进制文件。
本文介绍了一种将大的二进制文件分割为多个小文件的案例代码。

CHUNK_SIZE = 512*1024*1024 #512MB
file_number = 1 
with open('binary_file.bin', 'rb') as f:
    chunk = f.read(CHUNK_SIZE)
    while chunk:
        with open('binary_file.bin_' + str(file_number), 'wb') as chunk_file:
            chunk_file.write(chunk)
        file_number += 1
        chunk = f.read(CHUNK_SIZE)
python二进制转十六进制、转十进制、字符串按4位划分
LDC，公众号【轻松学编程】
04-14 1726
python二进制转十六进制、转十进制、字符串按4位划分 需求： 1、把二进制数据转十六进制字符串 2、按4位一组划分子字符串 3、高两位与低两位互换 4、把十六进制转成有符号十进制 代码： # !/usr/bin/python # -*- coding: utf-8 -*- """ @contact: 微信 1257309054 @file: 二进制、十进制、十六进制转换.py @time: 2022/4/14 10:16 @author: LDC """ import binascii ''' 1
二进制文件拆分器，对几个二进制直接合并的文件进行拆分
07-29
几个二进制直接合并的文件（比如jpg png 图片等，必须含有文件头标志），可以通过它来进行拆分 使用方法是通过修改它的资源，在其中设置好要拆分的文件头标志（字符串格式的16进制），比如jpg的文件头标志是FFD8FFE000104A464946（转换为字符串就是??????JFIF），而png可设置为89504E470D0A1A0A0000000D49484452
Python二进制方式切分文件并还原
ArYe
12-02 2827
文件传输大小限制时，需要将文件切小，分别发送，合并还原 文件发送限制（比如：破解软件、小电影…） Python二进制方式均等切分文件并且合并还原
Python实现文件分割功能
Aimmon
05-30 1689
效果图。
在Windows系统中，如何python脚本实现分割合并大二进制文件，方便上传
花果山
04-01 3281
""" To split a file, type the following command split.py [filename] [chunksize in mb] To recover it back, type the following command copy /b [filename].part.0+[filename].part.1+[filename].part.2 [filename] """ from sys import argv import os d
python 二进制文件处理
ygyoe的专栏
03-08 7584
python 二进制文件处理采用python处理二进制文件，文件打开方式需要设置成"rb"或"wb"，使读写的数据流是二进制。还需要进行二进制数据和普通数据之间的转换。这时会用到python的包struct里的两个函数pack和unpack。pack函数将普通数据打包成二进制数据；而unpack数据将二进制数据分解成普通数据。 help(struct.unpack) Help on built...
Python二进制文件读取并转换为浮点数详解
09-19
### Python二进制文件读取并转换为浮点数详解 在进行数据分析或科学计算时，经常需要处理存储为二进制格式的数据文件。这些文件通常由其他程序生成，如科学仪器、模拟软件等，并且因为其紧凑性而被广泛采用。在...
Python分块读取大文件并返回一个二进制流整体
qq_48441158的博客
02-26 574
【代码】Python分块读取大文件并返回一个二进制流整体。
Python实现分割文件及合并文件的方法
09-21
然后，使用二进制模式打开源文件，并在循环中读取文件内容。每次读取`chunksize`大小的数据块，直到文件末尾。对于每个数据块，它会生成一个新的部分文件，文件名格式为`part%04d`，其中`%04d`是一个占位符，用于...
python简单分割文件的方法（python经典案例）
热门推荐
数据知道的博客
12-23 1万+
以上就是两种Python在处理文件分割时的常用方法。使用这些方法可以很容易地将一个大文件分割成多个小文件，或者按照规则将一个文件分割成多个子文件。在实际应用中，我们可以根据具体需求选择合适的方法。
二进制文件合并拆分
08-22
二进制文件合并拆分，java封装dll实现。
Linux脚本实现二进制文件拆分
07-15
通过Linux脚本命令实现二进制文件拆分，便于分析各种用途的二进制文件制作和分析，脚本简单，易于理解，使用灵活，可以提高工作效率
二进制文件分割工具_BinPartition_sln.rar（附源码）
07-31
采用VS2010创建工程，可以将一个.bin文件分割多个小的.bin文件，每个小文件，存储在tempDir文件夹下，名称从BinSlice0.bin开始一直到BinSliceX.bin，每个小文件大小默认设置为32KB。如需设置为其它长度，可以修改main.c文件中的SRAM_SIZE宏参数。
二进制.bin文件切分（shell和python两种方式）
lingdukafeibj的博客
05-12 4916
今天工作遇到一个问题，将128MB随机数的二进制文件进行切分为每个128KB随机数，首先度娘到python脚本实现的，简单修改了一下脚本发现可以将128MB的数据拆分128KB然后存入对应的文件； 测试脚本： # -*- coding: utf-8 -*- #按照大小分割文件 import os filename = "/home/ndsec/Downloads/random/random_hsm1.bin"#需要进行分割的文件，请修改文件名 size = 131072 #分割大小约128K
二进制文件分割器
FlameCyclone的博客
12-31 623
1.可以按照任意方式分割文件 (1)限定分割范围 (2)指定分割块大小 (3)指定分割份数 (4)指定分割方向(从文件头向文件尾分割或从文件尾向文件头分割) 2.可以指定输出文件名规则 (1)文件名前缀 (2)文件名序号(10/16进制显示, 宽度以输出最大序号为准) (3)文件名后缀(扩展名) (4)文件名显示分割范围(16进制显示, 宽度以输出最大范围为准) (5)文件名显示CRC32校验码 3.非常方便的分割命令 分
python处理二进制文件_python 打开二进制文件Python之数据聚合与分组运算
weixin_39631370的博客
11-24 259
002pc.com认为此文章对《python 打开二进制文件Python之数据聚合与分组运算》说的很在理。Python之数据聚合与分组运算1. 关系型数据库方便对数据进行连接、过滤、转换和聚合。2. Hadley Wickham创建了用于表示分组运算术语“split-apply-combine”（拆分-应用-合并）。3. GroupBy的size方法，它可以返回一个含有分组大小的Series。4....
二进制文件拆分为多个小文件
Aaron_dw的博客
03-12 355
最近在进行TRNG真随机数的测试，需要获取指定大小的随机数文件。测试是通过串口收集随机数，得到一份日志文件。先日志文件转成一个二进制文件，然后将二进制拆分成多个指定大小的文件。
二进制.bin文件切分、bintopng、write
wxy2020915的博客
03-07 1219
二进制.bin文件切分、bintopng、write
二进制文件切割与合并
michael019的博客
08-04 4255
#define _CRT_SECURE_NO_WARNINGS #include <stdio.h> #include <stdlib.h> #define PATH "C:\\Users\\michael\\Desktop\\切割合并\\PIS.exe" #define PATH_MERGE "C:\\Users\\michael\\Desktop\\切割合并\\PIS_merge.exe"/*
python对比二进制文件
最新发布
04-14
### 使用Python实现二进制文件内容差异的比较 要比较两个二进制文件的内容差异，可以通过多种方法来完成。以下是几种常见的解决方案： #### 方法一：逐字节比较 最简单的方法是逐字节读取并比较两个文件中的数据。 ```python def compare_binary_files(file1, file2): with open(file1, &#39;rb&#39;) as f1, open(file2, &#39;rb&#39;) as f2: while True: byte1 = f1.read(1) byte2 = f2.read(1) if byte1 != byte2: return False # 文件不同 if not byte1 or not byte2: break return byte1 == byte2 and (byte1 is None or byte2 is None) # 判断是否完全一致[^1] if __name__ == "__main__": result = compare_binary_files("file1.bin", "file2.bin") print(f"Files are {&#39;identical&#39; if result else &#39;different&#39;}.") ``` 这种方法适用于小型文件，但对于大型文件可能会消耗较多时间。 --- #### 方法二：使用哈希值比较 另一种高效的方式是比较文件的哈希值（如 SHA-256 或 MD5），这可以显著减少计算量。 ```python import hashlib def get_file_hash(filename, algorithm=&#39;sha256&#39;): hasher = getattr(hashlib, algorithm)() with open(filename, &#39;rb&#39;) as f: chunk = f.read(8192) # 按块读取以节省内存 while chunk: hasher.update(chunk) chunk = f.read(8192) return hasher.hexdigest() def files_are_identical_by_hash(file1, file2, algorithm=&#39;sha256&#39;): hash1 = get_file_hash(file1, algorithm) hash2 = get_file_hash(file2, algorithm) return hash1 == hash2 if __name__ == "__main__": identical = files_are_identical_by_hash("file1.bin", "file2.bin") print(f"Files have{&#39; the same&#39; if identical else &#39; different&#39;} hashes.")[^2] ``` 此方法适合用于大文件，因为它只需一次扫描即可得出结果。 --- #### 方法三：使用第三方库 `difflib` 进行详细对比 如果需要更详细的差异报告，可以借助 Python 的标准库模块 `difflib` 来生成统一或上下文差分。 ```python from difflib import unified_diff def binary_to_lines(binary_data): return [line + b&#39;\n&#39; for line in binary_data.split(b&#39;\n&#39;)] def diff_binary_files(file1, file2): with open(file1, &#39;rb&#39;) as f1, open(file2, &#39;rb&#39;) as f2: lines1 = binary_to_lines(f1.read()) lines2 = binary_to_lines(f2.read()) differences = list(unified_diff(lines1, lines2, fromfile=file1, tofile=file2)) return differences if __name__ == "__main__": diffs = diff_binary_files("file1.bin", "file2.bin") if diffs: print("Differences found:") for line in diffs: print(line.decode(errors="ignore")) else: print("No differences detected between the two files.")[^3] ``` 注意，由于二进制文件可能不包含换行符，因此上述代码会尝试按 `\n` 分割数据以便于展示。 --- #### 方法四：结合音频处理技术 对于特定类型的二进制文件（如音频文件），还可以采用信号处理方式对其进行特征提取后再做对比。例如，将音频转换为波形数组后进行相似度评估。 ```python import numpy as np from scipy.io import wavfile def load_audio_as_array(filepath): sr, data = wavfile.read(filepath) return data.astype(float), sr def calculate_similarity(array1, array2): min_length = min(len(array1), len(array2)) correlation = np.correlate(array1[:min_length], array2[:min_length]) similarity_score = abs(correlation).max() / max(abs(array1).max(), abs(array2).max()) # 归一化得分 return similarity_score audio1, _ = load_audio_as_array("file1.wav") audio2, _ = load_audio_as_array("file2.wav") similarity = calculate_similarity(audio1, audio2) print(f"Audio similarity score: {similarity:.4f}")[^4] ``` 这种方案特别适合多媒体文件或其他具有结构化的二进制数据。 --- ### 总结 以上提供了四种不同的策略来解决二进制文件的差异比较问题，具体选择取决于实际需求和性能考量。逐字节比较是最基础但也可能是效率最低的一种；而基于哈希值的验证则更加高效且易于扩展至分布式环境；当追求细节时，则推荐使用 `difflib` 提供的工具集；最后，在某些特殊场景下（比如音频领域），还需要引入额外的技术手段辅助分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值