10、数据处理与网页信息提取技术全解析

数据处理与网页信息提取技术全解析

1. Amazon S3 文件上传与下载

在创建了 Amazon S3 存储桶之后，就可以进行文件的上传和下载操作了。

1.1 文件上传

编写文件上传函数与创建存储桶类似。需要使用 HTTP PUT 请求，请求体包含文件数据。在命令行需收集存储桶名称、文件在 S3 服务中的存储名称以及要上传的本地文件名称。注意，要以二进制模式打开本地文件，避免文本转换。

以下是用于将文件上传到特定存储桶的函数：

def upload_file(bucket, local_path):
    data = open(local_path, 'rb').read()
    url = 'http://{}/{}/{}'.format(endpoint, bucket, local_path)
    print('upload file '+url)
    response = requests.put(url, data=data, auth=auth)
    if response.ok:
        print('Uploaded {} OK'.format(local_path))
    else:
        xml_pprint(response.text)

使用时需将 bucket 替换为自己的存储桶名称。文件上传成功后，可在 S3 控制台查看。

1.2 文件下载

通过 S3 API 下载文件与上传类似，只是使用 GET