python json 自定义编码解码函数

直接上代码

自定义的编码解码函数,这里以时间类型的数据编码解码为例

def json_decode_datetime(obj):
    if isinstance(obj, datetime):
        return {
            "json_decode_datetime":  datetime.timestamp(obj)
        }
    return obj


def json_encode_datetime(dic):
    if dic.get("json_decode_datetime", None):
        return datetime.fromtimestamp(dic['json_decode_datetime'])
    return dic

json调用编码解码函数

dict_data = json.loads(cache, object_hook=json_encode_datetime)
res_str = json.dumps(frame_full_info.dict(), default=json_decode_datetime)
### 解决Python读取文件时的编码问题 当遇到 `SyntaxError: Non-ASCII character` 或者其他与编码相关的错误时,通常是因为 Python 文件本身或被读取的文件未指定正确的编码方式。以下是针对 JSON 文件或其他文本文件读取过程中可能出现的编码问题及其解决方案。 #### 1. 确保源码文件使用单一编码 Python 源文件应始终采用统一的编码标准[^1]。如果嵌入了不同编码的数据,则会在编译阶段引发解码错误。因此,在编写代码前需确认整个项目使用的字符集一致,推荐使用 UTF-8 编码作为默认选项。 #### 2. 处理非 ASCII 字符引起的语法错误 对于因非 ASCII 字符导致的 `SyntaxError` 错误,可以通过以下两种方法之一来解决[^2]: - **声明文件编码**: 在脚本的第一行或第二行加入如下声明语句: ```python # -*- coding: utf-8 -*- ``` - **转义特殊字符**: 如果仅涉及少量非 ASCII 字符,可将其替换为 Unicode 转义序列 (e.g., `\uXXXX`)。 #### 3. 正确设置文件打开参数 在实际操作中,通过适当配置 `open()` 函数中的 `encoding` 参数能够有效规避大多数编码异常情况。例如: ```python def load_json(file_path): try: with open(file_path, 'r', encoding='utf-8') as f: content = json.load(f) # 使用json模块加载数据 return content # 返回解析后的对象 except Exception as e: print(f"An error occurred while reading {file_path}: {str(e)}") ``` 上述函数展示了如何安全地从指定路径加载 JSON 数据并处理潜在异常的情况[^3]。注意这里设定了 `'utf-8'` 的编码形式;如果是 GBK 编码的文档则需要调整相应值。 #### 4. 防范大容量文件带来的内存溢出风险 除了基本的编码设定外,还需考虑极端情况下由于文件过大而导致的资源耗尽现象。对此有几种策略可供采纳[^4]: - **逐行读取** ```python data = [] with open('large_file.txt', 'r', encoding='gbk', errors='ignore') as f: for line in f: record = process_line(line.strip()) # 自定义每一行预处理逻辑 if record is not None: data.append(record) ``` - **分块读取 Pandas DataFrame** 当面对 CSV 类型的大规模结构化数据集合时,利用 pandas 提供的功能可以更加高效便捷地完成任务。 ```python import pandas as pd def handle_large_csv(input_filepath, output_filepath): reader = pd.read_csv(input_filepath, iterator=True, chunksize=500000) chunks_processed = [] for chunk_df in reader: optimized_chunk = reduce_mem_usage(chunk_df) # 假设有这样一个优化内存占用的方法 chunks_processed.append(optimized_chunk) final_result = pd.concat(chunks_processed) final_result.to_csv(output_filepath, index=False) ``` 以上介绍了多种应对 Python 中文件读写过程可能遭遇的各种编码难题的办法,并提供了具体实现案例帮助理解应用细节。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值