在华为云NAIE上跑深度学习_将数据集压缩文件拷贝到本地镜像并进行解压

谁说朽木不可雕也

于 2020-09-12 16:56:45 发布

阅读量1k

点赞数 1

文章标签： python zip

本文链接：https://blog.youkuaiyun.com/qq_44711932/article/details/108551931

版权

本文详细介绍了如何使用Moxing和Zipfile两个Python模块从远程服务器下载并解压文件。首先，通过Moxing模块的get_data_reference函数获取数据引用，然后使用copy方法将文件复制到本地镜像中。接着，利用Zipfile模块打开并解压.zip文件到指定目录，完成整个文件处理流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#需要用到一下三个模块
    import moxing as mox
    import zipfile

    from naie.datasets import get_data_reference


    filename = "spilt_total_contuor"
#1.将文件拷贝到本地镜像
    data_reference = get_data_reference(dataset="Consep",dataset_entity=filename)
    print(data_reference)
    path = data_reference.get_files_paths()
    print("path::::",path)
    mox.file.copy(data_reference.get_files_paths()[0], "./cache/" + filename + ".zip")

#2.解压文件
    zip_file = zipfile.ZipFile('./cache/' + filename + ".zip")
    zip_list = zip_file.namelist() # 得到压缩包里所有文件

    for f in zip_list:
        zip_file.extract(f, './cache') # 循环解压文件到指定目录
 
    zip_file.close() # 关闭文件，必须有，释放内存