python中eval将字符串转换成字典时报错NameError: name ‘null‘ is not defined

最新推荐文章于 2023-12-26 20:21:57 发布

原创最新推荐文章于 2023-12-26 20:21:57 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

原创_感言专栏收录该内容

7 篇文章

订阅专栏

本文探讨了在Python中将字典格式的字符串转换为字典类型时遇到的问题及解决方案，尤其是在处理大规模数据集时，如何避免因空字段引发的错误。

最近在做数据处理的时候遇到一个问题，将一个字典格式的字符串转换成字典类型时使用python的内置函数eval()瞬间完成。
错误的发生和解决如下：
我要处理的文件：
这是我的数据文件；严格的说不算是一个json文件，因为没有最外层大括号，并且每条数据之间没有逗号分隔。
我写的代码如下：

majors = []
with open('document.json', 'r', encoding='utf-8') as file:
    line = file.readline()
    while line:
        major_name = eval(line)['name']
        majors.append(major_name)
        line = file.readline()
major = pd.DataFrame(majors)
major.columns = ['专业名']
major.to_csv('document_major.csv', index=False)

当数据处理到1000多行时报错。
处理手法：

majors = []
with open('document.json', 'r', encoding='utf-8') as file:
    line = file.readline()
    count = 1
    while line:
        print(count)
        count += 1
        major_name = eval(line)['name']
        majors.append(major_name)
        line = file.readline()
major = pd.DataFrame(majors)
major.columns = ['专业名']

查看日志：发现处理到第1525条数据时就报错：NameError: name ‘null’ is not defined。查看第1525条数据发现有空字段：
在这里插入图片描述
处理手法：使用字符串的replace(‘要被替换的内容’, ‘要替换成什么东西’)。
最后但往往是最重要的：比较坑的是我尝试过：
line = line.replace(‘null’, ‘’)
line = line.replace(‘null’, ’ ')
line = line.replace(‘null’, ‘-’)
line = line.replace(‘null’, ‘0’)
直到第四条才成功，足以看出eval()在做字典格式的字符串转字典时，要求还是很严格的。
最终版：

majors = []
with open('document.json', 'r', encoding='utf-8') as file:
    line = file.readline()
    count = 1
    while line:
        line = line.replace('null', '0')
        major_name = eval(line)['name']
        majors.append(major_name)
        line = file.readline()
major = pd.DataFrame(majors)
major.columns = ['专业名']
major.to_csv('document_major.csv', index=False)