18、利用Azure实现智能视觉与多语言翻译应用

利用Azure实现智能视觉与多语言翻译应用

1. 智能视觉应用：Seeing AI

1.1 自定义和云模型选择

Seeing AI应用面临着广泛的计算机视觉问题，因此采用了多种机器学习模型以适应不同场景，并做出相应权衡。
- 本地模型运行 ：在设备上本地运行机器学习模型能够实现实时结果，理想情况下响应时间少于100毫秒，最多不超过四分之一秒。这能让用户在听取文本朗读时获得自然的响应体验。例如，若用户希望实时听取标志或标签内容，手机上运行的模型就能完成该任务。
- 云模型运行 ：然而，图像描述功能使用的认知服务中的自定义视觉模型无法压缩以在设备上运行，更不用说在Azure机器学习中训练的用于识别多种不同类型对象的数GB级模型了。虽然与云的往返通信需要稍长的时间，但能提供更高质量的结果。比如，当用户拍摄文档照片时，花费几秒钟获取好的图像后，将其发送到Azure利用云端的大型模型可以获得更准确的结果。

选择在本地还是云端运行模型有多种方式。Seeing AI允许用户选择不同场景来决定，而在其他应用中，也可根据网络连接速度等因素，或采用混合方法。若用户带宽有限、连接缓慢或处于离线状态，可使用本地模型；甚至可以先使用小型本地模型给出结果，待云端返回更精确的信息后再进行补充。同时，要确保用户界面清晰说明质量或细节水平变化的原因，避免用户困惑。此外，还需考虑隐私问题，Seeing AI发送到Azure的图像会安全存储并保护用户隐私，但数据会离开设备，在受监管的行业中可能需要仅使用本地模型，若向云服务发送内容，需通知用户。

模型类型