xiaolajiruirui的博客

文章目录Abstract1、Introduce2、机器学习推理1.2.读入数据总结Abstract经典查询优化技术（包括谓词下推)在机器学习推理查询中使用有限，因为从非结构化输入中提取关系列的用户定义函数(UDF)通常非常昂贵;查询谓词将始终滞留在这些UDF后面如果它们恰好需要UDF生成的关系列。在这项工作中，我们演示了构造和应用概率谓词来过滤不满足查询谓词的数据blob的情况;此类过滤针对不同的目标精度进行了参数化。此外，为了支持复杂的谓词并避免每查询的训练，我们增加了基于成本的查询优化器来选择具有

TAHOMA应用场景：自定义的FQL查询，非结构化查询。主要针对聚合和限制查询，例如：查询桥上每天平均有多少车通过，查询至少有一辆公交车和五辆汽车的十帧，且每帧至少相隔10秒。解决的问题：对象查询描述：BlazeIt专门针对聚合和limit查询，提出了FQL查询语言，以及新的查询优化方案。Motivation：之前的工作使用近似过滤的方法来降低视频分析的成本，但没有处理两类重要的查询，即聚合和限制查询（aggregation and limit ）；此外，这些方法仍然需要复杂的代码来部署。

应用场景：****查询从摄像机框架的一个区域移动到另一区域的对象（例如：找到通过路口右转的车辆）以及选择具有一定速度的对象（例如：找到停止从湖中喝水的动物）。解决的问题：查询处理 + 对象跟踪描述：MIRIS将查询处理集成到对象检测中，在可能的情况下以低帧处理视频，在需要时增加帧率以确保查询的准确性，从而加快了查询处理的速度。Motivation：执行用于对象检测的深度神经网络是计算密集型的，在每个帧上应用检测十分昂贵。现有的系统必须在几乎每个视频帧上都应用昂贵的物体检测器来处理物体跟踪查询。Goa

BlazeIt论文：BlazeIt: Optimizing Declarative Aggregation and Limit Queries for Neural Network-Based Video Analytics，VLDB，2019演示Demo：Challenges and Opportunities in DNN-Based Video Analytics: A Demonstration of the BlazeIt Video Query Engine，CIDR，2019应用场景：

NoScope：Optimizing Neural Network Queries over Video at Scale应用场景：二分类查询，即判断某一帧有没有某一对象。解决的问题：对象查询处理描述：NoScope针对神经网络查询昂贵的问题，提出了使用专用NN和跳帧的方法，以及使用优化器在速度和精确度之间进行平衡，保证在用户所需精确度的前提下，花费最少。Motivation：（1）Applying general NNs to video data in real time is computa

Motivation：Many big-data applications need to process large data streams in near-real time.Site activity statisticsSpan detectionCluster monitoringChallenges：Stream processing systems must recover from failures and stragglers quickly and efficient

SMOL应用场景：解决的问题：优化DNN推理和预处理Baseline：描述：Motivation：Goal：Problem/Challenges：Solution：系统开源否：不开源数据集开源否：运行环境：流程：

SMOL应用场景：解决的问题：Baseline：描述：Motivation：视频分析可能具有很高的资源需求；同时由于视频流的高处理成本和高数据速率，所以资源管理很重要（1）多维资源配置的质量权衡（2）质量和滞后目标的多样性Goal：Problem/Challenges：(一) 没有关于查询配置的资源需求和质量的分析模型，而且大量的配置使得估计资源质量状况的成本很高；(二) 表达单个查询和集群中所有查询的质量和滞后目标是不容易的；(三)决定分配和配置是一个计算困难的问题，查询和旋钮的