python -- 批量解析dataframe中的json串并形成新的字段

最新推荐文章于 2024-06-13 14:06:27 发布

August1226

最新推荐文章于 2024-06-13 14:06:27 发布

阅读量1w

点赞数 4

CC 4.0 BY-SA版权

分类专栏： python python菜菜鸟文章标签： python json串解析 dataframe

本文链接：https://blog.youkuaiyun.com/August1226/article/details/81561934

本文介绍如何使用Python高效地解析DataFrame中存储为JSON格式的列，并形成新的字段。通过自编函数，实现了将JSON串转换处理，适用于大规模数据（如100万行，40个字段）的操作，大约耗时10分钟。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近遇到了类似这样的问题：批量解析数据库中某张表的某一列（json串形式存储），效果如下。

为此，我编写了如下的python脚本

def main(table_source,var_name):
    """
    【批量解析json串】
    入参：
        table_source：含义：来自数据库的库名.表名，
                      格式：字符串，
                      例如：'bestbuy_decision.streaming_target_info'
        var_name：含义：需要解析的字段
                  格式：字符串
                  例如：'data'
    
    使用范例：
        data = main(table_source,var_name)
    """
    sql_command = "SELECT * FROM  "+ str(table_source)
    dat