Python序列化与反序列化:从JSON到高性能二进制格式

python序列化与反序列化 序列化: 把不能够直接存储在文件中的数据变得可存储。 反序列化: 把存储在文件中的数据拿出来恢复成原来的数据类型 阅读详情

Python序列化与反序列化:从JSON到高性能二进制格式

引言

序列化是将对象转换为可存储或传输格式的过程,反序列化则是其逆过程。在后端开发中,序列化广泛应用于数据持久化、网络通信、缓存等场景。

Python提供了多种序列化方案,从简单的JSON到高性能的二进制格式。本文将深入探讨各种序列化方案的原理、优缺点及适用场景。

一、Python标准库序列化方案

1.1 JSON序列化

JSON是最常用的序列化格式,具有良好的可读性和跨语言兼容性:

import json

# 基本数据类型序列化
data = {
    'name': 'John',
    'age': 30,
    'scores': [95, 87, 92],
    'is_active': True,
    'metadata': None
}

# 序列化
json_str = json.dumps(data, indent=2)
print(json_str)

# 反序列化
parsed_data = json.loads(json_str)
print(parsed_data['name'])  # 输出: John

1.2 JSON高级特性

from datetime import datetime
import json

# 自定义编码器处理datetime
class DateTimeEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, datetime):
            return obj.isoformat()
        return super().default(obj)

# 使用自定义编码器
data = {
    'event': 'meeting',
    'time': datetime.now(),
    'attendees': ['Alice', 'Bob']
}

json_str = json.dumps(data, cls=DateTimeEncoder)
print(json_str)

# 自定义解码器
def datetime_decoder(obj):
    if 'time' in obj:
        obj['time'] = datetime.fromisoformat(obj['time'])
    return obj

parsed = json.loads(json_str, object_hook=datetime_decoder)
print(parsed['time'])  # datetime对象

1.3 pickle序列化

pickle是Python特有的序列化格式,支持几乎所有Python对象:

import pickle

# 定义复杂对象
class User:
    def __init__(self, name, age):
        self.name = name
        self.age = age
    
    def greet(self):
        return f"Hello, {self.name}"

# 序列化对象
user = User("John", 30)
pickle_data = pickle.dumps(user)

# 反序列化
restored_user = pickle.loads(pickle_data)
print(restored_user.greet())  # 输出: Hello, John

# 保存到文件
with open('user.pkl', 'wb') as f:
    pickle.dump(user, f)

# 从文件加载
with open('user.pkl', 'rb') as f:
    loaded_user = pickle.load(f)

二、第三方序列化库

2.1 MessagePack

MessagePack是一种高效的二进制格式,比JSON更小更快:

import msgpack

# 基本使用
data = {'name': 'John', 'age': 30, 'scores': [95, 87, 92]}

# 序列化
packed = msgpack.packb(data)
print(f"Size: {len(packed)} bytes")

# 反序列化
unpacked = msgpack.unpackb(packed)
print(unpacked['name'])  # 输出: John

# 处理datetime
import datetime
from msgpack import Packer, Unpacker

packer = Packer(default=lambda obj: obj.isoformat() if isinstance(obj, datetime.datetime) else obj)
packed = packer.pack({'time': datetime.datetime.now()})

2.2 Protocol Buffers

Protocol Buffers是Google开发的高效序列化格式:

# 首先定义.proto文件
# message User {
#   string name = 1;
#   int32 age = 2;
#   repeated int32 scores = 3;
# }

# 使用生成的代码
import user_pb2

user = user_pb2.User()
user.name = "John"
user.age = 30
user.scores.extend([95, 87, 92])

# 序列化
data = user.SerializeToString()
print(f"Size: {len(data)} bytes")

# 反序列化
new_user = user_pb2.User()
new_user.ParseFromString(data)
print(new_user.name)  # 输出: John

2.3 Apache Avro

Avro提供schema定义和高效的二进制序列化:

import avro.schema
from avro.datafile import DataFileReader, DataFileWriter
from avro.io import DatumReader, DatumWriter

# 定义schema
schema = avro.schema.parse("""
{
    "type": "record",
    "name": "User",
    "fields": [
        {"name": "name", "type": "string"},
        {"name": "age", "type": "int"},
        {"name": "scores", "type": {"type": "array", "items": "int"}}
    ]
}
""")

# 序列化
writer = DataFileWriter(open("users.avro", "wb"), DatumWriter(), schema)
writer.append({"name": "John", "age": 30, "scores": [95, 87, 92]})
writer.close()

# 反序列化
reader = DataFileReader(open("users.avro", "rb"), DatumReader())
for user in reader:
    print(user)
reader.close()

三、序列化方案对比

3.1 性能对比实验

import json
import pickle
import msgpack
import time

# 测试数据
test_data = {
    'name': 'John Doe',
    'age': 30,
    'email': 'john@example.com',
    'scores': list(range(100)),
    'metadata': {'active': True, 'role': 'admin'}
}

# 测试序列化性能
def test_serialization(name, serialize_func, deserialize_func):
    start = time.time()
    for _ in range(10000):
        serialized = serialize_func(test_data)
    serialize_time = time.time() - start
    
    start = time.time()
    for _ in range(10000):
        deserialize_func(serialized)
    deserialize_time = time.time() - start
    
    print(f"{name}:")
    print(f"  Serialize: {serialize_time:.3f}s")
    print(f"  Deserialize: {deserialize_time:.3f}s")
    print(f"  Size: {len(serialized)} bytes")

test_serialization("JSON", json.dumps, json.loads)
test_serialization("pickle", pickle.dumps, pickle.loads)
test_serialization("msgpack", msgpack.packb, msgpack.unpackb)

3.2 方案选择指南

特性JSONpickleMessagePackProtocol Buffers
可读性高无无无
跨语言是否是是
速度中等快很快很快
大小中等中等小很小
安全性高低高高
对象支持基本类型几乎所有基本类型需定义schema

四、生产环境最佳实践

4.1 安全注意事项

# 危险:不要反序列化不受信任的数据
import pickle
import io

# 安全做法:使用限制的反序列化
class RestrictedUnpickler(pickle.Unpickler):
    def find_class(self, module, name):
        # 只允许特定类
        if module == '__main__' and name == 'User':
            return User
        raise pickle.UnpicklingError(f"禁止加载 {module}.{name}")

# 使用安全的反序列化
data = b'...'  # 来自不受信任的来源
try:
    obj = RestrictedUnpickler(io.BytesIO(data)).load()
except pickle.UnpicklingError as e:
    print(f"安全错误: {e}")

4.2 版本兼容性

# 处理数据格式版本
def serialize_with_version(data):
    return {
        'version': 2,
        'data': data
    }

def deserialize_with_version(raw_data):
    parsed = json.loads(raw_data)
    version = parsed.get('version', 1)
    
    if version == 1:
        # 转换旧格式
        return migrate_v1_to_v2(parsed['data'])
    elif version == 2:
        return parsed['data']
    else:
        raise ValueError(f"不支持的版本: {version}")

4.3 大数据序列化

# 流式处理大数据
import json
import msgpack

def stream_serialize(data_generator, output_file):
    """流式序列化大量数据"""
    with open(output_file, 'wb') as f:
        packer = msgpack.Packer()
        for item in data_generator:
            f.write(packer.pack(item))

def stream_deserialize(input_file):
    """流式反序列化"""
    with open(input_file, 'rb') as f:
        unpacker = msgpack.Unpacker(f)
        for item in unpacker:
            yield item

# 使用示例
def generate_large_data():
    for i in range(1000000):
        yield {'id': i, 'value': f"data_{i}"}

stream_serialize(generate_large_data(), 'large_data.msgpack')

for item in stream_deserialize('large_data.msgpack'):
    process_item(item)

五、高级序列化技术

5.1 自定义序列化协议

class CustomSerializer:
    """自定义二进制序列化器"""
    
    @staticmethod
    def serialize(obj):
        if isinstance(obj, dict):
            return CustomSerializer._serialize_dict(obj)
        elif isinstance(obj, list):
            return CustomSerializer._serialize_list(obj)
        elif isinstance(obj, str):
            return CustomSerializer._serialize_str(obj)
        elif isinstance(obj, int):
            return CustomSerializer._serialize_int(obj)
        else:
            raise ValueError(f"不支持的类型: {type(obj)}")
    
    @staticmethod
    def _serialize_dict(d):
        result = bytearray([0x01])  # 字典标记
        result += len(d).to_bytes(4, 'big')
        for k, v in d.items():
            result += CustomSerializer.serialize(k)
            result += CustomSerializer.serialize(v)
        return bytes(result)
    
    # ... 其他序列化方法

5.2 压缩与序列化结合

import gzip
import msgpack

def compress_and_serialize(data):
    """压缩并序列化"""
    packed = msgpack.packb(data)
    compressed = gzip.compress(packed)
    return compressed

def decompress_and_deserialize(compressed_data):
    """解压并反序列化"""
    packed = gzip.decompress(compressed_data)
    return msgpack.unpackb(packed)

# 使用示例
original = {'data': list(range(1000))}
compressed = compress_and_serialize(original)
print(f"原始大小: {len(msgpack.packb(original))} bytes")
print(f"压缩后大小: {len(compressed)} bytes")

restored = decompress_and_deserialize(compressed)

六、总结

选择合适的序列化方案需要考虑:

  1. 性能要求:大数据量选择MessagePack或Protocol Buffers
  2. 跨语言需求:避免使用pickle
  3. 可读性:调试阶段使用JSON
  4. 安全性:从不信任来源接收数据时避免使用pickle
  5. 版本兼容性:设计可迁移的数据格式

在实际项目中,建议根据具体场景组合使用多种方案,例如:

  • API接口使用JSON
  • 内部数据传输使用MessagePack
  • 持久化存储使用Protocol Buffers

思考:在你的项目中,序列化瓶颈在哪里?欢迎分享你的优化经验!

内网(极空间)搭建gitlab跳板机转发端口及域名配置 然后,回头尝试用内网地址+15022 clone,成功,用公网的ip+15222 clone失败,那就是定位到时nginx转发的问题了。首先想到的就是 git clone是通过ssh的22端口进行下载的,那就需要打通22端口,则又配置22端口的nginx转发。然后,我通过ssh命令,做一个端口转发,以实现内网穿透,将服务端口链接到跳板机上。然后穿透到阿里云服务器跳板机的端口,只能内网访问,需要用nginx做个转发,才能用公网ip进行访问。然后,如上,我的80端口,映射15080,22端口映射15022。 阅读详情

相关推荐

ESP32 WiFi自平衡小车硬件与PID控制实战

自平衡小车是典型的嵌入式实时反馈控制系统,其核心依赖姿态感知(如MPU6050)、电机驱动(如L298N)与闭环控制算法(如PID)的协同。系统通过IMU采集俯仰角,经互补滤波融合处理,再由PID控制器实时计算PWM输出,驱动直流电机产生恢复力矩;WiFi模块(ESP32内置)则提供远程遥控接口,实现AP模式下的Web指令交互。该架构兼具硬实时性(毫秒级采样与响应)与软实时性(HTTP服务),广泛应用于机器人教学、智能小车开发及边缘控制原型验证。本文围绕ESP32平台,详解传感器接口、驱动电路设计、PID抗

weixin_42509513的博客 394

python 反序列化

python 反序列化

m0_62970186的博客 5637

VTK实战笔记(1)在win11搭建VTK-9.4.2 + qt5.15.2 + VS2019_x64开发环境

Visual Studio 2019 + qt5.15.2 + vtk9.4.2

心向阳光,斗志昂扬! 978

Python反序列化

python反序列化

qq_61209261的博客 1818

LangChain4j 开发

市场上主流的 Java 调用大模型的工具库有两种:LangChain4j 是一个 面向 Java 的开源框架,用于构建 基于大语言模型(LLMs) 的应用程序。它是 LangChain(Python 生态中非常流行的 LLM 应用框架)的 Java 实现,旨在让 Java 开发者能够轻松地集成和使用各种 LLM 服务,快速开发 智能聊天机器人、智能搜索、文档问答、Agent系统 等 AI 驱动的应用。官网文档:https://docs.langchain4j.dev/。引入依赖(JDK17 及以上): 构建

m0_62943934的博客 2796

NeurIPS‘25新研究!PINN+GNN强强联手,模型精度飙升50%!

物理图神经网络研究取得重大进展!UCLA团队提出的PhysGNN架构在NeurIPS'2025上引发关注,该模型成功融合PINN的物理约束优势与GNN的图结构处理能力,解决了工程仿真中的关键瓶颈。研究显示,PhysGNN在城市热网预测中误差降低42%,电网负荷模拟的物理规则违反率下降68%。同步解析的SyncTREE模型则创新性地将RC树物理特性融入GNN,实现毫秒级IC时序分析;HSPGNN模型通过嵌入偏微分方程,显著提升多变量时间序列填补精度。

m0_73122726的博客 1023

Python反序列化漏洞及魔术方法详细全解(链构造、自动审计工具bandit)

魔术方法执行调用下面的代码,如果下面的代码可控的话,就可能存在反序列化漏洞。pickle.dump(obj, file) :将对象序列化后保存到文件。 pickle.load(file) :读取文件, 将文件中的序列化内容反序列化为对象。 pickle.dumps(obj) :将对象序列化成字符串格式的字节流。 pickle.loads(bytes_obj) :将字符串格式的字节流反序列化为对象。寻找LV6 -> 购买修改支付逻辑 -> 绕过admin限制需修改jwt值 -> 爆破jwt密匙 -> 重组jw

ranzi. 4795

FPGA实现PI控制

FPGA实现PI控制

m0_57319166的博客 3903

python反序列化

pickle序列化:将 Python 对象转换为可以存储或传输的格式。反序列化:将序列化的数据转换回 Python 对象。pickle模块:支持复杂的 Python 对象,但存在安全风险。json模块:支持 JSON 格式,更安全,适用于大多数应用场景。安全性:处理不受信任的数据时,应避免使用pickle。r:只读模式。w:写入模式,会清空原有内容。a:追加模式。b:二进制模式。:读写模式。x:独占创建模式。t:文本模式(默认)。

2301_79783285的博客 2291

ArcGIS利用模型构建器批量导出nc文件中的不同波段数据

ArcGIS利用模型构建器批量导出nc文件中的不同波段数据

Yuanbaokk的博客 7258

论文选题难?7种AI加持的万能选题法(全专业通用+工具实测)

AI时代学术选题新范式:7大智能方法破解研究痛点 传统选题方法面临范围失控、资料难寻、创新不足三大痛点,本文提出AI赋能的7种选题方法论: 1.现象+群体法:自动抓取热点与人群特征 2.理论+场景法:经典理论与新兴场景匹配 3.技术+问题法:前沿技术与领域痛点结合 4.对比+变量法:时空维度与变量关系分析 5.热点+理论法:事件传播与理论深挖融合 6.微调+变量法:已有选题变量置换创新 7.AI全流程法:关键要素智能迭代生成 同时警示AI使用的伦理边界,需规避虚构文献、伪造数据等风险,并提供针对本科生、研究

Conan_0728的博客 1885

JSON 序列化的应用举例

那么,你需要提交股票代码、方向(买入/卖出)、订单类型(市价/限价)、价格(如果是限价单)、数量等一系列参数,而这些数据里,有字符串,有整数,有浮设想一个情景,你要向交易所购买一定数额的股票。那么,你需要提交股票代码、方向(买入/卖出)、订单类型(市价/限价)、价格(如果是限价单)、数量等一系列参数,而这些数据里,有字符串,有整数,有浮点数,甚至还有布尔型变量,全部混在一起并不方便交易所解包。到这一步,你可能会想,如果我要输出字符串到文件,或者从文件中读取JSON字符串,又该怎么办呢?

m0_64880493的博客 233

Xilinx PL实现DP TX视频传输的关键配置与实战解析

本文详细解析了在Xilinx ZCU106开发板上,利用PL(可编程逻辑)实现DP TX(DisplayPort发送)视频传输的关键配置与实战流程。内容涵盖从硬件平台搭建、DP TX IP核参数(如链路速率、通道数、视频时序)的详细配置,到软件驱动初始化、中断处理及链路训练的全过程,并提供了屏幕闪烁、颜色异常等常见问题的避坑指南与调试技巧,旨在帮助开发者高效实现稳定的4K视频输出。

weixin_29165465的博客 354

Protobuf:一种更小、更快、更高效的协议

Protobuf介绍 Protobuf (Protocol Buffers) 是谷歌开发的一款无关平台,无关语言,可扩展,轻量级高效的序列化结构的数据格式,用于将自定义数据结构序列化成字节流,和将字节流反序列化为数据结构。所以很适合做数据存储和为不同语言,不同应用之间互相通信的数据交换格式,只要实现相同的协议格式,即后缀为proto文件被编译成不同的语言版本,加入各自的项目中,这样不同的语言可以解析其它语言通过Protobuf序列化的数据。目前官方提供c++,java,go等语言支持。 下面表格是支持语言的

C/C++Linux、音视频、DPDK 2061

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

什么是Protobuf

一、protobuf是什么? protobuf(Google Protocol Buffers)是Google提供一个具有高效的协议数据交换格式工具库(类似Json),但相比于Json,Protobuf有更高的转化效率,时间效率和空间效率都是JSON的3-5倍。后面将会有简单的demo对于这两种格式的数据转化效率的对比。但这个库目前使用还不是太流行,据说谷歌内部很多产品都有使用。...

芯片驱动开发实践 728

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

高性能微服务通信基石:深入理解Python序列化与反序列化陷阱

掌握Python序列化技术,提升微服务通信性能与稳定性。深入解析JSON、Pickle及MessagePack在实际场景中的应用与陷阱,对比序列化效率与兼容性,助你优化数据传输。全面避坑指南,值得收藏。

QuickTrans的博客 1243

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

序列化和反序列化以及json相关

序列化和反序列化 为什么要序列化 内存中的字典、列表、集合以及各种对象,如何保存到一个文件中? 如果是自己定义的类的实例,如何保存在一个文件中? 如何从文件中读取数据,并让他们在内存中再次回复称自己对应的类的实例? 要设计一套协议,按照某种规则进行转换,转换后的数据可以用来存储或者传输。文件是一个字节序列,所以必须把数据转换成字节序列(可以害死),输出到文件。这就是序列化。反之从文件的字节序列恢复...

ammmao的博客 393

序列化和反序列化

序列化和反序列化是计算机科学中的两个重要概念,通常用于数据传输和存储。序列化和反序列化的格式和协议必须匹配,否则会导致数据不一致或错误。反序列化过程中可能会遇到恶意数据,特别是在网络环境中。反序列化攻击可能导致代码执行漏洞,因此处理不信任的数据时需要小心。

m0_60697583的博客 1166

msgpack-python与JSON深度对比:何时选择二进制序列化方案

在数据交换和存储领域,序列化格式的选择直接影响系统性能与效率。**msgpack-python**作为MessagePack在Python中的实现,提供了比JSON更高效的二进制序列化方案。本文将从性能表现、适用场景和使用方法三个维度,为你揭示这两种格式的核心差异,助你做出明智的技术选型。 ## 🚀 性能对决:为什么二进制格式完胜文本格式? MessagePack采用二进制编码,而JSON是

gitblog_01156的博客 717

Python序列化和反序列化

本文介绍了Python中三种序列化工具:json、pickle和marshal。序列化是将数据转换为可存储/传输格式的过程,反序列化则是将序列化数据还原为Python对象。json模块支持跨语言数据交换(dumps/dump序列化,loads/load反序列化),pickle是Python专用的二进制序列化方案,marshal则提供高性能序列化能力。三者主要区别在于:json具有跨平台性但功能有限,pickle支持完整Python对象但存在安全隐患,marshal性能最优但兼容性差,适用于特定场景。开发者应

Messsgo的博客 418

Python 序列化与反序列化:小白也能一次看懂

本文介绍了Python中三种常见的数据序列化方法。序列化是将内存对象转换为可存储或传输格式的过程,反序列化则是相反操作。pickle是Python标准库,支持几乎所有内置类型和自定义类,速度快但仅限Python使用;JSON作为纯文本格式跨语言通用,但只支持基本数据类型;msgpack是二进制轻量级方案,体积小速度快。文章对比了三者的性能特点,并指出使用注意事项:文件需以二进制模式打开,注意版本兼容性,避免反序列化不可信数据。最后建议根据需求选择合适工具:pickle适合Python内部使用,JSON用于通

weixin_41147796的博客 382

pyserde入门教程:3分钟掌握Python数据序列化与反序列化

在Python开发中,**数据序列化与反序列化**是处理API通信、配置文件存储和数据持久化的核心技能。今天我们要介绍的**pyserde**是一个强大而优雅的Python序列化库,它基于Python 3.7+的dataclasses,灵感来自Rust的serde库。只需要3分钟,你就能掌握这个让数据转换变得简单高效的利器!🚀 ## 📦 什么是pyserde? **pyserde**是一个

gitblog_00756的博客 211

LangGraph序列化性能对比实测:JSON、Pickle、MessagePack谁更快?

本文实测LangGraph的序列化性能,对比JSON、Pickle、MessagePack在不同场景下的速度与空间效率,揭示最优方案。涵盖核心方法与适用场景,帮助开发者提升数据存储与传输效率,值得收藏。

SimProceed的博客 657

如何高效掌握Python数据序列化:JSON、Pickle与MessagePack全方位对比指南

在Python编程中,数据序列化是实现数据持久化和跨平台传输的核心技术。本指南将深入对比JSON、Pickle和MessagePack三种主流序列化方案,帮助开发者根据项目需求选择最适合的工具,轻松掌握Python数据处理的关键技能。 ## 📊 数据序列化核心方案对比 ### JSON:跨语言数据交换的黄金标准 JSON(JavaScript Object Notation)作为一种轻量级数

gitblog_01102的博客 385

数据序列化与反序列化实战:JSON/XML格式处理与数据完整性保障

数据序列化是将数据结构转换为可存储或传输格式的核心技术,其原理是通过标准化编码实现对象状态的持久化。在分布式系统和微服务架构中,序列化技术价值体现在确保数据跨网络传输的一致性,广泛应用于API通信、缓存存储和数据库持久化等场景。JSON作为轻量级数据交换格式,凭借其良好的可读性和广泛的语言支持,成为Web开发的首选方案;而XML则以严谨的结构和强大的Schema验证能力,在企业级系统集成中保持重要地位。本文通过实际工程案例,深入探讨如何在数据处理流程中实现数据安全'往返',重点解决数据完整性校验和常见序列化

weixin_33797791的博客 298

msgspec:Python 高性能序列化与验证库完全指南

msgspec:Python 高性能序列化与验证库完全指南 什么是 msgspec? msgspec 是一个专为 Python 设计的高性能序列化与数据验证库,它原生支持 JSON、MessagePack、YAML 和 TOML 等多种数据格式。这个库的核心目标是提供极致的性能表现,同时保持简洁易用的 API 设计。 核心特性解析 1. 极致的性能表现 msgspec 在序列化和反序列化操作上的性...

gitblog_00354的博客 716
上一篇: Python内存管理深度解析:从GC到生产环境调优
下一篇: Python HTTP客户端实战:从urllib到异步请求
第一程序员
博客等级 码龄1年 1万+粉丝 1827原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值