10、利用Python与AWS S3进行文件操作及网页数据提取-优快云博客

本文链接：https://blog.youkuaiyun.com/view3/article/details/154413352

利用Python与AWS S3进行文件操作及网页数据提取

1. S3文件上传与下载

在创建好存储桶后，就可以进行文件的上传和下载操作。编写文件上传函数与创建存储桶类似，需要查看文档以构建HTTP请求，明确在命令行需要收集的信息，然后编写函数。

文件上传使用HTTP PUT请求，需要指定存储文件的存储桶名称以及文件在S3中的存储名称。请求体包含文件数据。在命令行，需要收集存储桶名称、文件在S3服务中的名称以及要上传的本地文件名称。注意，要以二进制模式打开本地文件，因为文件可能包含任何类型的数据，避免应用文本转换。

以下是上传文件的函数代码：

def upload_file(bucket, local_path):
    data = open(local_path, 'rb').read()
    url = 'http://{}/{}/{}'.format(endpoint, bucket, local_path)
    print('upload file '+url)
    response = requests.put(url, data=data, auth=auth)
    if response.ok:
        print('Uploaded {} OK'.format(local_path))
    else:
        xml_pprint(response.text)

将 bucket 替换为自己的存储桶名称，文件上传后可在S3控制台查看。

文件下载通过S3 API与上