Flink模型服务和实时特征生成在Razorpay的实践

 在Flink Forward Global 2020期间，Razorpay团队展示了Apache Flink如何在其“ Mitra”数据平台中使用，以克服围绕功能生成和实时机器学习模型的挑战的方法。

“ Mitra”是一个数据平台，可为Thirdwatch产品提供支持，可通过大规模提供机器学习模型来实时防止欺诈行为。本文中我将解释我们提供机器学习模型的方法，并解释为什么我们使用Flink作为流处理引擎来执行此类任务。

关于Razorpay

Razorpay是印度领先的支付解决方案之一，它使企业可以使用其产品套件接受，处理和支付款项。该技术可以访问所有付款方式，包括信用卡，借记卡，网上银行，UPI和许多流行的钱包。该公司拥有500万以上的商家，年支付额为250亿美元，每笔交易有100多个参数，每天处理大量数据

在2019年，Razorpay进行了首次收购- Thirdwatch，这是一款由AI驱动的解决方案，可帮助企业实时处理交易并检测欺诈行为。

让我们看看Razorpay和Thirdwatch如何利用Apache Flink优化Mitra。

为什么选择Apache Flink

由于多种原因，我们选择Apache Flink作为Mitra Data Platform的核心流处理引擎。首先，Apache Flink是一个真正的，低延迟的流处理框架，可对事件进行实时的实时处理而没有延迟。此外，Flink的状态管理，CEP（复杂事件处理）库以及对事件时间处理的支持帮助我们为业务带来了更多选择性，例如应用预测模型，以不同方式对事件进行排序，处理乱序和确保实时准确，可靠的事件处理。

Flink的Async IO在我们的平台中也得到大量利用，因为对于许多运营商来说，我们需要查询外部服务，例如图形数据库或其他外部系统。

最后，Flink的检查点机制以及Flink的架构演变和State TTL功能的新增强，是使Flink成为我们执行计算的核心部分的决定性原因。

Razorpay的数据科学

由于大量的数据以及我们技术的广度，Razorpay的数据科学团队面临着围绕数据科学，机器学习和实时处理的多个挑战。为了克服这些挑战，团队开发了一个称为Mitra的内部数据智能平台。

Mitra的架构包含三个主要组件，这些组件可以近乎实时地处理工。平台的“客户输入数据”组件使用不同的API，SDK或插件收集数据，然后将这些数据解析到我们平台的“核心引擎”部分，其中包括多个组件（例如Apache Flink）并执行多个功能，例如数据增强，数据验证，ML特征生成，身份聚类等。

我们基础架构的核心处理部分还包括带有Presto和Hive的数据湖，我们的分析师可以在其中执行多个查询。一旦Flink应用程序执行了实时处理，我们便将数据移至系统的“输出”部分，该部分将包含分析仪表板，API和Kafka主题或其他下游。

Mitra数据平台的一些关键功能包括：