SkyNet：字节跳动泛客诉问题挖掘与风险监控中台实践

原创

于 2021-10-22 11:23:25 发布 · 3.7k 阅读

CC 4.0 BY-SA版权

文章标签：

随着互联网和智能手机的普及，人们的生活大多时候都离不开移动 App，在信息量与日俱增的大数据时代，用户反馈数据可以帮助发现热点问题、避免安全问题、优化产品体验、提升产品质量等。

SkyNet 天网平台专门聚焦于泛客诉问题数据，包括 App 端内离线反馈、IM（Instant Messaging，即时通讯）反馈、电话热线反馈、举报反馈、各大应用市场评论、App 端内实时评论、内部运营工单等数据，挖掘其中的价值，为各方业务带来收益。

SkyNet 天网平台由互娱研发客服平台团队和研发效能团队联合出品。

SkyNet 天网平台的能力主要包括智能监控预警、异常热点挖掘、分析看板定制、VoC（Voice of Customer，用户原声）展示。

监控预警：对于已知场景，采用 NLP 打标或关键词匹配配置监控告警，基于时序监控算法实现智能阈值和智能告警，可以有效避免因为固定阈值带来的召回率和准确率不高的问题。
异常挖掘：对于未知场景，采用热点聚类、多渠道聚合、情感分析、风险词挖掘及命名体识别等算法，实现高频高热和低频低热的未知问题智能挖掘和监控。
看板定制：对于一段时期内的数据，生成数据图表看板，提供日常的可视化分析能力，包括指标分析，文本分析，实验分析等。
VoC 展示：瞄准反馈数据原文内容，直接传递用户的声音，为用户发声，营造关注用户反馈的文化氛围。

SkyNet 系统能力模型

Web 平台：采用前后端分离架构，前端基于 React Hooks 开发，后台采用微服务方案。为了增强用户体验，还提供了小程序、飞书卡片等多种交互方式。
调度侧：采用分布式的 Celery 集群，一主多从的架构，同时主控做了双机房容灾。
数据侧：包括 API+实时+离线三种模式，API 模式基于 HTTP 封装的数据查询服务，实时模式基于 Kafka+Flink+ES/HDFS/ClickHouse 数据处理任务，用于数据处理和存储，离线模式基于 Spark+Hive 天级和小时级的数据处理任务。
算法侧：基于 Bert、LDA、BiLSTM 等模型实现长短文本意图识别、热点发现、智能阈值与智能告警，快速理解反馈意图，更早发现反馈量级异常。
安全侧：基于数据隐私和信息安全，分机房部署服务、存储数据。