基于python3.6读取jsonl文件,并保存到Mysql数据库

废话少说,jsonl文件放在文件夹下,我们通过三步完成数据保存。

第一部分,遍历文件夹下的文件

在 Python 3.6 中,你可以使用内置的 os 和 os.path 模块来遍历文件夹下的文件。以下是一个示例脚本,展示了如何遍历指定文件夹及其子文件夹中的所有文件,并打印出每个文件的路径:

import os  
  
def traverse_directory(directory):  
    # 遍历指定目录及其子目录  
    for root, dirs, files in os.walk(directory):  
        for file in files:  
            # 构造文件的完整路径  
            file_path = os.path.join(root, file)  
            # 打印文件路径  
            print(file_path)  
  
# 示例用法  
if __name__ == "__main__":  
    directory_to_traverse = '/path/to/your/directory'  # 替换为你的目录路径  
    traverse_directory(directory_to_traverse)

在这个脚本中:

  • os.walk(directory) 生成一个三元组 (dirpath, dirnames, filenames),其中 dirpath 是一个字符串,表示遍历到的目录的路径;dirnames 是一个列表,包含 dirpath 下所有子目录的名字(不包括路径);filenames 是一个列表,包含 dirpath 下所有非目录文件的名字。
  • for root, dirs, files in os.walk(directory): 这一行会遍历指定目录 directory 及其所有子目录。
  • for file in files: 这一行会遍历当前遍历到的目录(root)下的所有文件。
  • os.path.join(root, file) 用于构造文件的完整路径。

你可以将 directory_to_traverse 变量设置为你想要遍历的目录的路径,然后运行脚本。脚本会打印出该目录及其所有子目录中的每个文件的完整路径。

如果你只想遍历顶层目录而不包括其子目录,你可以简单地使用 os.listdir() 函数,但那样你就需要手动检查每个条目是文件还是目录,并且如果需要递归遍历子目录,你还得自己实现递归逻辑。而 os.walk() 已经为你处理了这些工作。

第二部分,读取文件数据后转换数据为字符串

在 Python 中,将字典转换为字符串是一个常见的操作,通常可以通过内置的 str() 函数或使用 json 模块来实现。下面是两种方法的详细说明:

方法一:使用 str() 函数

str() 函数可以将字典对象转换为其字符串表示形式,但这种表示形式通常用于调试目的,因为它包含了字典的键和值,以及它们的类型和结构信息(如引号、花括号和逗号)。

my_dict = {'name': 'Alice', 'age': 30, 'city': 'New York'}  
dict_str = str(my_dict)  
print(dict_str)

输出:

{'name': 'Alice', 'age': 30, 'city': 'New York'}

这种方法生成的字符串虽然可读,但通常不适合用于数据交换或存储,因为它包含了额外的字符(如类型和结构信息)。

方法二:使用 json 模块

json 模块提供了一种更标准的方式来将字典转换为字符串,这

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值