11、图像数据集准备与CV算法实战

图像数据集准备与CV算法实战

1. 图像数据集准备

在图像数据集准备方面， prepare_dataset.py 脚本极大地简化了流程，它还支持 COCO 数据集（http://cocodataset.org），且工作流程极为相似。若要转换其他公共数据集，可参考 https://gluon-cv.mxnet.io/build/examples_datasets/index.html 获取更多示例。

RecordIO 是一个进步，但处理自定义数据集时，很可能需要编写自己的列表文件生成器，这虽不是大问题，但会增加额外工作。

而使用 Amazon SageMaker Ground Truth 标注的数据集能解决这些问题。SageMaker Ground Truth 工作流会生成增强清单文件，该文件为 JSON Lines 格式，每个 JSON 对象描述一个特定注释。以下是语义分割作业的示例：

{
    "source-ref": "s3://julien-sagemaker-book/chapter2/cat/cat1.jpg",
    "my-cat-job-ref": "s3://julien-sagemaker-book/chapter2/cat/output/my-cat-job/annotations/consolidated-annotation/output/0_2020-04-21T13:48:00.091190.png",
    "my-cat-job-ref-metadata": {
        "internal-color-map": {