最近在做数据处理的时候遇到一个问题,将一个字典格式的字符串转换成字典类型时使用python的内置函数eval()瞬间完成。
错误的发生和解决如下:
我要处理的文件:

我写的代码如下:
majors = []
with open('document.json', 'r', encoding='utf-8') as file:
line = file.readline()
while line:
major_name = eval(line)['name']
majors.append(major_name)
line = file.readline()
major = pd.DataFrame(majors)
major.columns = ['专业名']
major.to_csv('document_major.csv', index=False)
当数据处理到1000多行时报错。
处理手法:
majors = []
with open('document.json', 'r', encoding='utf-8') as file:
line = file.readline()
count = 1
while line:
print(count)
count += 1
major_name = eval(line)['name']
majors.append(major_name)
line = file.readline()
major = pd.DataFrame(majors)
major.columns = ['专业名']
查看日志:发现处理到第1525条数据时就报错:NameError: name ‘null’ is not defined。查看第1525条数据发现有空字段:

处理手法:使用字符串的replace(‘要被替换的内容’, ‘要替换成什么东西’)。
最后 但往往是最重要的:比较坑的是我尝试过:
line = line.replace(‘null’, ‘’)
line = line.replace(‘null’, ’ ')
line = line.replace(‘null’, ‘-’)
line = line.replace(‘null’, ‘0’)
直到第四条才成功,足以看出eval()在做字典格式的字符串转字典时,要求还是很严格的。
最终版:
majors = []
with open('document.json', 'r', encoding='utf-8') as file:
line = file.readline()
count = 1
while line:
line = line.replace('null', '0')
major_name = eval(line)['name']
majors.append(major_name)
line = file.readline()
major = pd.DataFrame(majors)
major.columns = ['专业名']
major.to_csv('document_major.csv', index=False)
本文探讨了在Python中将字典格式的字符串转换为字典类型时遇到的问题及解决方案,尤其是在处理大规模数据集时,如何避免因空字段引发的错误。

被折叠的 条评论
为什么被折叠?



