深入了解Azure Stream Analytics:配置、使用与数据处理
1. Azure Stream Analytics 资源缩放
在配置 Azure Stream Analytics 服务时,确定所需的资源数量以实现最佳性能是一项颇具挑战性的任务。在 Azure Stream Analytics 中,性能由所选的流式处理单元(Streaming Units,SU)决定。具体操作步骤如下:
1. 打开“Settings”面板。
2. 点击“Scale”选项,此时会打开“Scale”面板,你可以在其中选择流式处理单元的数量。
流式处理单元体现了执行 Stream Analytics 作业所需的资源和性能,它综合了内存、CPU 和 I/O 等因素。每个 SU 大约相当于 1MB/秒的吞吐量。
确定特定作业所需的 SU 数量需要一定的技巧,这不仅需要专业知识,还需要进行一些测试和监控。正确的 SU 选择取决于为作业定义的查询以及输入的分区配置。因此,在编写查询时,查询的编写方式会对整体性能产生影响。
另一种确定 SU 的方法是将最低公分母作为缩放单位进行测试,并了解数据量的峰值。由于 IoT 集线器会对消息进行缓冲,因此你可以选择较低的 SU 值和较长的保留期,这样虽然处理过程略低于实时性,但成本更低。
本质上,你需要在价格和性能之间找到平衡。例如,你是否可以接受以较低的成本获得略低于实时性的处理,并且能够容忍 5 秒的处理窗口?或者,你是否需要高性能的 SU 来提供绝对的实时处理?关键在于,要从 Azure Stream Analytics 中获得高性能(即提高流数据处理能力),取决于输入的分区数量和为作业定义的查询。
超级会员免费看
订阅专栏 解锁全文
30

被折叠的 条评论
为什么被折叠?



