json模块与pickle模块dumps和loads以及encode和decode的转换区别

最新推荐文章于 2025-07-01 11:38:34 发布
最新推荐文章于 2025-07-01 11:38:34 发布
阅读量2.5k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python 文章标签： encode pickle json decode byte
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/my_chenjie/article/details/81047477
本文详细介绍了Python中pickle和json模块的使用方法，包括dumps和loads函数如何将字典转换为byte类型或JSON字符串，以及如何逆向操作。此外，还讲解了base64编码解码的过程，并提供了设置和读取cookie中字典数据的具体步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

json模块与pickle模块dumps和loads以及encode和decode的转换区别

pickle

dumps:将字典转成byte类型

s = pickle.dumps(d)
b'\x80\x03}q\x00(X\x01\x00\x00\x001q\x01}q\x02(X\x05\x00\x00\x00countq\x03K\nX\x08\x00\x00\x00selectedq\x04\x88uX\x01\x00\x00\x002q\x05}q\x06(h\x03K\x14h\x04\x89uu.'

loads:将byte类型转成字典

pickle.loads(s)
{'1': {'count': 10, 'selected': True}, '2': {'count': 20, 'selected': False}}

json

dumps:将字典转成json字符串

s = json.dumps(d)
#'{"2": {"count": 20, "selected": false}, "1": {"count": 10, "selected": true}}'

loads:将json字符串转成字典类型

s = json.loads(s)
#{'2': {'count': 20, 'selected': False}, '1': {'count': 10, 'selected': True}}

base64

encode():将8比特的bytes类型数据进行base64编码，返回编码后的6比特bytes类型

b = base64.b64encode(s)

decode(): 将6比特的base64编码的bytes类型进行解码，返回解码后的8比特的bytes类型

base64.b64decode(b)

encode()和decode()

encode:编码,将字符串编码成byte类型(8比特的)

a = 'asdhuahdkjahfjkaf'
b=a.encode()
#b'asdhuahdkjahfjkaf'

decode():解码,将byte类型解码成字符串类型

 c = b.decode()
#'asdhuahdkjahfjkaf'

获取cookie中的数据并转成字典

pickle.loads(base64.b64decode(cart_str.encode()))

得到的cookie为str类型,将cookie转成byte类型
encode:

cart_str.encode()  #byte类型

通过b64的decode将b64的byte类型转成正常的byte类型,最后loads转成字典

将字典加密设置到cookie

base64.b64encode(pickle.dumps(cart_dict)).decode()

pickle.dumps先将字典转成byte类型,在使用b64转成b64的byte类型

base64.b64encode(pickle.dumps(cart_dict))为byte类型

encode:将byte类型转为字符串类型

base64.b64encode(pickle.dumps(cart_dict)).decode为字符串类型
〖Python零基础入门篇(54)〗- 文件的应用-序列化与反序列化
易编橙 · 终身成长社群，相遇已是上上签！
03-25 2万+
前面章节我们学些了文件对象的创建、写入与读取，并且针对 `.py` 文件 与 `.txt` 文件进行了有针对性的小练习。 通过前面的学习我们知道，文件对象的读写只能进行 `字符串` 或 `byte` 类型的操作，其他类型只能通过格式化存储或者数据类型的转换才能实现。 但无论是哪一种，从文件中读取数据后都需要进行比较复杂的处理才能还原到原始的数据类型。为了简化数据类型的写入和获取，今天我们来学习一个新的知识点 ---> 序列化。
25.Python文件I/O（三）【StringIO和BytesIO&pickle序列化】
孤寒者的博客
07-03 2万+
25.Python文件I/O（三）【StringIO和BytesIO&pickle序列化】
让python json encode datetime类型
01-20
实现代码如下: 复制代码 代码如下: import json from datetime import date, datetime def __default(obj): if isinstance(obj, datetime): return obj.strftime(‘%Y-%m-%dT%H:%M:%S’) elif isinstance(obj, date): return obj.strftime(‘%Y-%m-%d’) else: raise TypeError(‘%r is not JSON serializable’ % obj) print json.dumps({‘d’:
Decode-Encode、json dump - json load
Rinalin
02-12 516
Decode-Encode 字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。 decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312’)，表示将gb2312编码的字符串str...
【Python】pickle2
宅男很神经
07-01 970
在前一章中，我们深入剖析了 协议的演进及其底层的操作码机制，初步揭示了 如何将 Python 对象转化为字节流，以及反之如何从字节流重建对象。现在，我们将把理论转化为实践，聚焦于 模块提供给开发者直接使用的核心 API。这些 API 是进行对象序列化和反序列化的门面，掌握它们的使用细节、参数含义以及潜在的行为模式，是精通 的第一步，也是至关重要的一步。本章将详细讲解 模块中最常用的四个函数：、、 和 。我们将不仅仅停留在其基本用法上，更会深入探讨其可选参数，例如 、、 和 ，并通过大量原创、详尽的
Base64模块、pickle模块、json模块、encode/decode的使用
bocai_xiaodaidai的博客
06-27 3009
base64： 将特殊格式字符串或者二进制数据转化为可打印的字符串（只包含字母数字和+ / =），并且能在网络中进行传输。 pickle： 将python数据类型（字符串、字典、列表、函数等等）转化为字符串类型。 可以将两者结合使用，从而对数据进行加密传输。 ...
python json解析 超过对象_将magicmock传入时超出了最大递归深度jsonpickle.encode()
weixin_31978571的博客
01-28 208
单元测试将对象列表传递到方法中。该方法使用jsonpickle.encode在物体上。在很好，但是当单元测试发送模拟对象列表并运行到无限递归时该怎么办？在下面是一个代码示例：import jsonpicklefrom mock.mock import MagicMockclass Foo(object):def __init__(self):passdef encodeFoos(list_of_f...
python 序列化之JSON和pickle详解
weixin_33835103的博客
10-27 300
JSON模块 JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯(包括C、C++、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成(一般用于提升网...
Python序列化与反序列化：pickle与json模块深度对比
记录学习的过程
05-21 965
本文全面对比了Python中pickle和json两种数据序列化模块的核心机制、性能特征、安全考量及适用场景。pickle支持复杂Python对象，适合内部通信和临时数据存储，但存在安全风险；json跨语言兼容且人类可读，适合持久化存储和网络传输，但数据类型支持有限。性能测试显示pickle在速度和内存占用上优于json，但json在安全性上更可靠。开发者应根据具体需求选择合适方案：pickle适用于Python内部通信和复杂对象存储，而json更适合跨语言数据交换和持久化存储。
Python高级技巧：探索token模块的持久化存储与pickle关系
[Python高级技巧：探索token模块的持久化存储与pickle关系](https://img-blog.csdnimg.cn/c2021488ac20456c81ff9325f97d2ac0.png) # 1. Python token模块简介 在现代软件系统中，令牌（token）是实现安全访问控制和...
七、python系统变量和常用模块
weixin_45460686的博客
01-13 920
为了编写可维护的代码，常把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。引入已有功能的模块，可以极大地提高开发效率，还可以避免函数名和变量名冲突，相同名字的函数和变量完全可以分别存在不同的模块中，因此，我们自己在编写模块时，不必考虑名字会与其他模块冲突。但是也要注意，尽量不要与内置函数名字冲突。python中，一个py文件就是一个模块，提供特定功能。
jsonpickle
qq_42553082的博客
11-09 1552
jsonpickle 是一个 Python 库，用来序列化复杂的 Python 对象到 JSON 文档。 示例代码： import jsonpickle pickled = jsonpickle.encode(obj) def __post(self, url, post_data): """ HTTP POST 方法工具类 :param...
PHP json_decode()函数详解
热门推荐
wangyuxiang946的博客
06-23 2万+
json_decode() 可以对JSON字符串「解码」，并转换为PHP变量。
Python之json模块和pickle模块详解
hakesashou的博客
12-20 1235
格式化后的字符串看似跟原来的没什么两样，但是查看格式化后的类型就会发现是一个字符串，已经被json模块处理过了。5.还可以用json.dump方法把字典等数据类型序列化进入一个文件中，等待别的程序进行调用。json可以用于字符串或者字典等与python数据类型之间的序列化与反序列化操作。7.可以使用pickle.load对文件f1进行反序列化，得到文件f1里保存的数据。使用同样的方法，也可以把元组，或字典序列化进一个文件中以实现永久保存。可以看到序列化之前是什么类型的数据，反序列化后其数据类型不变。
Json.loads()报错（'gbk' codec can't encode character '\u0161'），解决字符串有大量转义的问题
qq_40138248的博客
01-08 1294
在爬取数据的时候发现有大量转义字符： https:\/\/img.abiosgaming.com\/flags\/ 然后使用 json.loads(response.text)就会报错： UnicodeEncodeError: 'gbk' codec can't encode character '\u0161' in position 60388: illegal multibyte sequ...
json和pickle两个序列化模块详解
u010199356的博客
12-28 951
用于序列化的两个模块 json：用于字符串和Python数据类型间进行转换 pickle: 用于python特有的类型和python的数据类型间进行转换 json提供四个功能：dumps,dump,loads,load pickle提供四个功能：dumps,dump,loads,load pickle模块和json模块还是比较实用的，还有许多的信息可以去了解， 想了解更多信息的话可以阅读下pyt...
python3 pickle.dumps()数据转码保存到数据库或文件
zhangjikuan的专栏
03-05 2238
本文可解决问题 pickle.dumps()转换的bytes数据如何转换为json的value pickle.loads() 如何处理bytes字符串 json如何添加bytes的value bytes数据如何保存到数据库的varchar字段中 基本知识 json: 数据格式：只能转换基本数据类型，无法转换类对象等 pickle: 数据格式： 可以相互转换类对象等复杂数据类型 python3: bytes和str很大的不通，显示转码相当于 过程 a=None a是一个对象 b=pickle.du
Python序列化模块 json和pickle
m0_57787326的博客
02-20 302
1 序列化模块 文件的存和取遇到的矛盾： 目前我们将数据结构（list，dict）转化成字符串可以直接存储在文件中，但是读取出来时，遇到麻烦了，不能将读取到的字符串类型数据转回原来的数据类型（列表、字典），取出来的是字符串类型，不好操作。 l = [1,2,3] with open('test', encoding='utf-8', mode='a') as f: f.write(str(l)) # 写进文件的都是字符型类型 with open('test', encoding='utf-8
各个模块dumps和loads以及encode和decode的转换区别
weixin_44280688的博客
09-07 303
json模块与pickle模块dumps和loads以及encode和decode的转换区别 python中json文件处理涉及的四个函数json.dumps()和json.loads()、json.dump()和json.load()的区分
Java 调用 Python 返回多个计算结果的方法 结果能转换为json
最新发布
07-06
<think>我们正在解决的是：Java调用Python脚本时，如何将多个不同计算的结果以JSON格式返回给Java程序。 根据用户提供的引用，特别是引用[1]和引用[2]中提到的，使用JSON格式传递数据是一种常见做法，但需要注意在传递过程中可能出现的格式问题（如双引号丢失）。 同时，引用[5]展示了Java如何传递JSON字符串给Python，以及如何读取Python的输出。 我们的目标：在Python脚本中执行多个计算，将结果组合成一个JSON对象，然后打印输出（即标准输出），Java程序读取这个输出并解析为JSON对象。 步骤： 1. 在Python脚本中，将多个计算结果放入一个字典（dict）中。 2. 使用json.dumps()将字典转换为JSON字符串，并打印（print）出来。 3. 在Java中，执行Python脚本并捕获其标准输出。 4. 使用Java中的JSON库（如org.json）解析输出的字符串为JSONObject或JSONArray，从而获取各个计算结果。 但是，引用[1]提到一个问题：当Java将JSON字符串作为参数传递给Python时，Python接收到的字符串中键（key）没有双引号，导致json.loads()失败。不过，在我们的场景中，我们不是通过参数传递JSON，而是通过标准输出返回JSON。因此，我们不需要在Python中解析来自Java的JSON参数（除非有参数传递需求），我们只需要在Python中生成正确的JSON字符串并打印，然后在Java中解析。 然而，如果Java需要传递参数给Python，并且参数是JSON格式，那么我们可以参考引用[1]和引用[5]的做法： - 在Java端，将JSON对象转换为字符串，然后作为命令行参数传递给Python脚本。 - 在Python端，使用sys.argv获取参数字符串，然后使用demjson（如引用[1]）或尝试用ast.literal_eval（安全地求值字符串）或者用json.loads()（如果格式正确的话）来解析。但注意，引用[1]中遇到的问题是字符串格式不对，所以用了demjson。不过，引用[5]中使用了json.loads()，说明如果传递的字符串格式正确，是可以的。 但是，我们的重点是返回多个结果。因此，我们主要关注如何从Python返回JSON给Java。 下面是一个完整的示例： 1. Python脚本（例如：calc.py）: - 执行多个计算，将结果放入字典。 - 将字典转换为JSON字符串并打印。 2. Java程序： - 使用Runtime.getRuntime().exec()执行Python脚本。 - 读取Python脚本的标准输出（即打印的JSON字符串）。 - 解析JSON字符串。 注意：如果Python脚本中需要接收来自Java的参数，那么我们可以按照引用[5]的方式传递参数，并在Python中使用sys.argv获取。 示例代码： Python脚本（calc.py）: ```python import sys import json def calculate(): # 假设有多个计算结果 result1 = [1, 2, 3, 4, 5] # 一个列表 result2 = {"name": "Alice", "age": 30} # 一个字典 result3 = 42 # 一个整数 # 将多个结果放入一个字典中 return { "list_result": result1, "dict_result": result2, "int_result": result3 } if __name__ == "__main__": # 如果需要从Java传递参数，可以在这里解析sys.argv # 例如：如果Java传递了参数，我们可以在这里获取 # 但在这个例子中，我们不需要参数，直接计算 results = calculate() # 将结果字典转换为JSON字符串并打印 print(json.dumps(results)) ``` Java程序（使用org.json库解析）: ```java import org.json.JSONObject; import java.io.BufferedReader; import java.io.InputStreamReader; public class PythonJsonResult { public static void main(String[] args) { try { // 执行Python脚本 Process process = Runtime.getRuntime().exec(new String[]{"python", "calc.py"}); // 读取标准输出 BufferedReader reader = new BufferedReader( new InputStreamReader(process.getInputStream(), "UTF-8")); StringBuilder jsonString = new StringBuilder(); String line; while ((line = reader.readLine()) != null) { jsonString.append(line); } // 等待进程结束 int exitCode = process.waitFor(); if (exitCode != 0) { // 如果有错误，读取错误流 BufferedReader errorReader = new BufferedReader( new InputStreamReader(process.getErrorStream(), "UTF-8")); while ((line = errorReader.readLine()) != null) { System.err.println(line); } throw new RuntimeException("Python script exited with code " + exitCode); } // 解析JSON JSONObject results = new JSONObject(jsonString.toString()); // 获取各个结果 // 注意：这里根据Python返回的键名获取 System.out.println("List: " + results.getJSONArray("list_result")); System.out.println("Dict: " + results.getJSONObject("dict_result")); System.out.println("Int: " + results.getInt("int_result")); } catch (Exception e) { e.printStackTrace(); } } } ``` 注意事项： 1. 编码问题：在Java中读取Python输出时，建议指定编码（如UTF-8），以避免乱码。 2. 错误处理：如上述代码所示，我们检查了Python脚本的退出码，并读取了错误流（标准错误），以便在Python脚本出错时能够获取错误信息。 3. 如果Python脚本需要接收来自Java的JSON参数，我们可以将参数作为命令行参数传递（如引用[5]），然后在Python中使用sys.argv[1]获取，并用json.loads()解析（如果格式正确）或使用demjson（如引用[1]）解析。 关于传递参数给Python脚本的补充： 如果Java需要传递JSON参数，可以这样： ```java JSONObject paramJson = new JSONObject(); paramJson.put("key1", value1); paramJson.put("key2", value2); String[] cmd = {"python", "calc.py", paramJson.toString()}; Process process = Runtime.getRuntime().exec(cmd); ``` 在Python中： ```python import sys import json params = json.loads(sys.argv[1]) # 如果格式正确 # 或者使用demjson（如果格式有问题）: # import demjson # params = demjson.decode(sys.argv[1]) ``` 但是，如果只是返回多个结果，我们不需要传递参数的话，就可以忽略参数传递部分。 总结：将多个结果组合成字典，用json.dumps()转换为字符串并打印，然后在Java中读取并解析，是最直接的方法。 引用说明： - 我们参考了引用[1]中关于JSON传递的问题，但我们的返回方式避免了参数传递中的双引号问题（因为我们通过标准输出返回，而不是通过参数）。 - 引用[2]和引用[5]展示了Java如何调用Python并传递参数，以及如何获取打印的输出。 - 引用[3]提到了使用Runtime调用Python脚本的方法。 - 引用[4]提到了Jython的局限性，因此我们使用进程调用的方式。 因此，我们推荐使用上述方法。 最后，生成相关问题： 1. 如何解决Java传递JSON字符串给Python时出现的格式问题？ 2. 除了JSON格式，还有哪些方式可以在Java和Python之间传递复杂数据？ 3. 如何确保Java调用Python脚本时的错误信息能够被Java捕获？ 4. 在跨语言调用时，如何处理大数据量的传输？ 注意：在回答中，我们引用了用户提供的引用[1][2][5]等，所以在回答末尾可以添加引用标识。</think>在 Java 调用 Python 脚本时，将多个计算结果转换为 JSON 格式返回是最可靠且通用的解决方案。以下是具体实现步骤和注意事项： ### 完整解决方案（基于 JSON） #### Python 脚本 (`multi_calc.py`) ```python import sys import json import numpy as np def calculate(): # 多个不同类型的计算结果 result1 = [i**2 for i in range(5)] # 列表结果 result2 = {"mean": np.mean([1,2,3]), "sum": sum([1,2,3])} # 字典结果 result3 = 3.14159 # 标量结果 result4 = "SUCCESS" # 字符串结果 # 构建结构化返回对象 return { "squares": result1, "stats": result2, "pi_value": result3, "status": result4 } if __name__ == "__main__": try: # 处理输入参数（如果需要） if len(sys.argv) > 1: input_data = json.loads(sys.argv[1]) # 使用输入数据执行计算... # 获取计算结果并转换为JSON results = calculate() print(json.dumps(results)) # 输出JSON到标准输出 except Exception as e: # 错误处理返回结构化错误信息 error_info = { "error": str(e), "type": type(e).__name__ } print(json.dumps(error_info)) sys.exit(1) ``` #### Java 调用端 ```java import org.json.JSONObject; import java.io.BufferedReader; import java.io.InputStreamReader; import java.nio.charset.StandardCharsets; public class PythonCaller { public static void main(String[] args) { try { // 构建参数（可选） JSONObject inputParams = new JSONObject(); inputParams.put("window_size", 5); inputParams.put("smoothing", 2); // 执行Python脚本并传递参数 Process p = Runtime.getRuntime().exec( new String[]{"python", "multi_calc.py", inputParams.toString()} ); // 获取输出流（指定UTF-8编码） BufferedReader in = new BufferedReader( new InputStreamReader(p.getInputStream(), StandardCharsets.UTF_8)); // 读取JSON结果 StringBuilder jsonResult = new StringBuilder(); String line; while ((line = in.readLine()) != null) { jsonResult.append(line); } // 解析JSON JSONObject results = new JSONObject(jsonResult.toString()); // 检查错误 if (results.has("error")) { throw new RuntimeException("Python error: " + results.getString("error")); } // 提取不同计算结果 System.out.println("平方值: " + results.getJSONArray("squares")); System.out.println("统计值: " + results.getJSONObject("stats")); System.out.println("PI值: " + results.getDouble("pi_value")); System.out.println("状态: " + results.getString("status")); // 等待进程结束 int exitCode = p.waitFor(); System.out.println("Exit code: " + exitCode); } catch (Exception e) { e.printStackTrace(); } } } ``` ### 关键注意事项 1. **JSON 格式规范** - Python 使用 `json.dumps()` 确保标准 JSON 输出 - Java 使用 `org.json.JSONObject` 或 `Gson` 解析 - 统一使用 UTF-8 编码避免乱码问题 2. **参数传递问题（引用[1][5]）** ```python # 正确解析Java传递的JSON参数 import json import sys if len(sys.argv) > 1: # 方法1：使用json.loads（需要正确格式） try: params = json.loads(sys.argv[1]) except: # 方法2：处理引号问题（引用[1]） import demjson params = demjson.decode(sys.argv[1]) ``` 3. **错误处理机制** - Python 捕获所有异常并返回结构化错误信息 - Java 检查 JSON 中是否包含 "error" 字段 - 获取 Python 的错误输出流： ```java BufferedReader err = new BufferedReader( new InputStreamReader(p.getErrorStream(), StandardCharsets.UTF_8)); ``` 4. **大数据处理优化** - 对于大型数据集（如 NumPy 数组）： ```python # Python端 import base64 import pickle arr = np.random.rand(1000, 1000) result = { "array": base64.b64encode(pickle.dumps(arr)).decode('utf-8') } ``` ```java // Java端 String encoded = results.getString("array"); byte[] data = Base64.getDecoder().decode(encoded); // 使用第三方库如ND4J解析NumPy数据 ``` ### 替代方案对比 | 方法 | 优点 | 缺点 | 适用场景 | |-------------------|--------------------------|--------------------------|----------------------| | **JSON（推荐）** | 结构化好，跨平台，易解析 | 二进制数据需额外处理 | 大多数常规场景 | | Jython | 无进程开销，直接交互 | 不支持C扩展库[^2][^4] | 简单脚本，无三方依赖 | | 文件交换 | 适合GB级大数据 | 需文件管理，速度慢 | 科学计算大数据传输 | | 多行输出+分隔符 | 实现简单 | 脆弱，难维护 | 简单临时解决方案 | ### 常见问题解决 1. **参数引号问题（引用[1][5]）** 当Java传递JSON字符串时，Python收到的格式可能异常： - 解决方案1：使用 `demjson.decode()` 替代 `json.loads()` - 解决方案2：在Python端预处理字符串： ```python import ast fixed_str = sys.argv[1].replace("'", "\"") params = json.loads(fixed_str) ``` 2. **第三方库支持问题（引用[2][4]）** 使用 `Runtime.exec()` 而非 Jython 来支持 SciPy/NumPy 等库 3. **性能优化** - 二进制数据使用 Base64 + pickle 编码 - 流式处理大文件而非内存加载 - 使用 MessagePack 替代 JSON（需双方支持） > 最佳实践：JSON 方案结合标准输入输出流，正确处理编码和异常，可满足 95% 的跨语言调用需求[^1][^3][^5]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值