亚马逊云助力Skywatch开发AI模型降低卫星影像成本

亚马逊云助力Skywatch开发AI模型降低卫星影像成本

关键字: [reInvent2023, Skywatch, Satellite Imagery Processing, Cloud Detection Model, Earth Observation Data, Serverless Architecture Deployment, Space-Based Model Inference]

本文字数: 1100, 阅读完需: 6 分钟

导读

在本次演讲中,演讲者阐释了 Skywatch 如何借助亚马逊云科技开发人工智能模型,从而降低卫星影像的成本。具体而言,他们构建了一种先进的机器学习模型,采用了 UNet 架构,使用了在 ImageNet 上预先训练的 ResNet 编码器-解码器,并在自身的大型手动标注云图像数据集上进行了微调。该演讲重点介绍了 Skywatch 的人工智能模型如何使卫星运营商能够避免下传和处理多云无用的影像,从而降低成本并优化数据传输。

演讲精华

以下是小编为您整理的本次演讲的精华，共800字，阅读时间大约是4分钟。

在不断发展的地球观测领域,卫星运营商和数据提供商一直面临着一个棘手的挑战——在任何给定时刻,地球表面高达70%的区域被云层遮挡。这个问题导致了一个代价高昂的困境:卫星运营商精心操纵航天器飞越指定区域,捕获影像、下传数据、处理数据,最终将其交付给期待已久的客户,却发现由于无处不在的云层遮挡,这些影像无法使用。这种情况不仅浪费了宝贵的资源,而且给所有相关方带来了沉重的成本负担。总部位于加拿大滑铁卢的风险投资初创公司Skywatch正致力于缓解这一问题。

Skywatch的历程始于2014年,当时它在NASA Space App Challenge中获胜,最初专注于测量浩瀚宇宙中的超新星。然而,在2016年,它将重心转移到了地球观测领域,目标是实现地球观测数据的民主化,因为从大型提供商处获取这些宝贵数据的成本往往高得令人望而生畏。它的愿景是让用户能够绕过通常与获取这些宝贵数据相关的高昂订单成本。到2021年,Skywatch的努力获得了广泛认可,它获得了B轮融资。

借助亚马逊云科技(亚马逊云科技)的强大能力,Skywatch打造了一个先进的机器学习模型,有望彻底改变地球观测数据交付格局。这个模型的核心是一个UNet架构,采用ResNet-50编码器-解码器,在大型的ImageNet数据集上进行了预训练,该数据集包含了1400万张图像。然而,Skywatch意识到ImageNet在云检测方面存在局限性,因为像猫、狗和汽车这样的物体与云层几乎没有相似之处。因此,它耗费了巨大的努力,汇集了目前最大的手工标注云层影像数据集之一。凭借这个数据集,它开发出了一个真正的专家模型,不受传感器类型和分辨率的限制,能够为行业内任何提供商提供服务。

模型的开发过程是一场亚马逊云科技服务的和谐交响曲,精心编排。Amazon Elastic Container Registry (ECR) 托管代码镜像,而亚马逊云科技 Step Functions 和亚马逊云科技 Lambda 负责复杂的编排工作。训练过程本身由 Amazon SageMaker 提供支持,确保模型的持续演进和完善。Skywatch 的部署策略同样独具匠心,利用无服务器架构运行多个影子模型与实时生产模型并行,实现实时评估和无缝过渡到性能更佳的模型。

Skywatch 模型的影响深远,使卫星数据提供商能够在不可用的图像到达客户之前拦截并拒绝,从而降低成本并简化操作。然而,Skywatch 的野心远不止于此——它们的最终目标是将这个压缩后的 TFLite 版本仅重 22 兆字节的模型直接部署到轨道上的卫星。这种部署将能够在下传数据到地面之前实现实时云检测和分类,进一步优化资源并最小化不必要的数据传输。

虽然当前模型只有 1100 万个参数,是 ChatGPT 等模型数百亿参数的一小部分,但其威力远不止于其小巧的体积。尽管如此,在卫星上部署它需要进一步压缩和优化,这是 Skywatch 正在亚马逊云科技的无服务器架构上汲取经验教训直接应对的挑战。

最近,Alexander de Suza 在一个加拿大雪地区的卫星图像上展示了该模型的实力,突出了其即使在恶劣条件下也能准确检测和绘制云量的能力。Skywatch 已将该模型及其支持基础架构封装在一个 3GB 的 Docker 容器中,准备部署到卫星硬件上。用于演示的压缩 TFLite 版本仅重 22MB,这是通过亚马逊云科技服务如 Amazon SageMaker 实现的优化壮举。

Skywatch公司的创新方法不仅体现在模型本身,更体现在其采用了一系列无服务器组件来支持其努力。这些组件包括亚马逊云科技 Step Functions 和亚马逊云科技 Lambda 用于编排、Amazon Elastic Container Registry (ECR) 用于代码镜像,以及 Amazon SageMaker 用于训练。通过以无服务器的方式部署这些组件,Skywatch公司可以在现有生产模型的同时运行多个影子模型,实现持续评估并无缝过渡到性能更佳的模型。

Skywatch公司的历程证明了其创新力量和不懈追求解决复杂挑战的决心。通过利用亚马逊云科技的能力并采用前沿的机器学习技术,它打造了一个有望重塑地球观测数据交付格局的模型,降低成本、简化运营,并最终实现这一宝贵资源的民主化。

下面是一些演讲现场的精彩瞬间：

天基空间数据公司Skywatch的代表在演讲中介绍了该公司的业务以及如何帮助卫星运营商减少地球观测数据量并优化成本。

这是一张50厘米分辨率的卫星图像,清晰地展现了机场跑道、飞机和车辆,彰显了卫星数据在监测基础设施和气候变化等应用中的重要性。

在Skywatch,他们开发了一种先进的机器学习模型,采用UNet架构,使用预训练在ImageNet上的ResNet 50作为编码器和解码器,从而克服了这一挑战。

通过无服务器组件构建和部署模型,实现实时模型更新和性能评估,从而持续优化模型性能。

在重新发明2023大会上,Skywatch展示了一种仅有1100万参数的小型AI模型,可将关键分类任务直接推送到太空中的卫星上运行,从而大幅节省成本和提高效率。

在加拿大滑铁卢市的恶劣天气时,Skywatch平台成功下载了一张覆盖着白雪和云层的最新影像。

总结

Skywatch是一家风险投资支持的初创公司,正在通过开发前沿人工智能模型来革新地球观测数据传输领域,从而降低成本并优化卫星运营商的数据量。该公司采用先进的机器学习模型,基于UNet架构和ResNet编码器-解码器,可以准确检测卫星影像中的云层及其密度,从而允许提供商拦截和防止传输无法使用的、被云层遮挡的数据。

利用亚马逊云科技服务,如SageMaker、ECR、Step Functions和Lambda,Skywatch创建了一个无服务器架构,实现了持续的模型训练和部署,确保其云检测算法保持创新。该公司的模型是基于大型手动标注云影像数据集之一进行训练的,与传感器和分辨率无关,因此可广泛应用于各种地球观测平台。

Skywatch的愿景不仅局限于地面运营,还旨在将高度压缩、轻量级的模型直接推送到轨道上的卫星。通过实现机载云检测和分类,卫星运营商可以消除下行链路和处理无用数据的需求,从而大幅降低成本并优化数据传输。

凭借创新的方法和战略性利用亚马逊云科技服务,Skywatch正在为更高效、更经济的地球观测行业铺平道路,使卫星运营商能够为客户提供高质量、无云的影像,同时最大限度地减少运营费用和资源浪费。

亚马逊云科技（Amazon Web Services）是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务，服务全球245个国家和地区的数百万客户。亚马逊云科技致力于成为企业构建和应用生成式AI的首选，通过生成式AI技术栈，提供用于模型训练和推理的基础设施服务、构建生成式AI应用的大模型等工具、以及开箱即用的生成式AI应用。深耕本地、链接全球 – 在中国，亚马逊云科技通过安全、稳定、可信赖的云服务，助力中国企业加速数字化转型和创新，并深度参与全球化市场。