数据中台-数据标签平台

1.产品背景

        随着互联网，物联网技术的发展，大数据时代来了。大数据时代带来的变革影响着我们生活和工作的方方面面。

        越来越多的数据使得在数据中挖掘有价值的信息变得越来越难以以人工的方式进行，然而即使使用计算机技术，在海量的数据中寻找自己想要的数据依然是一件困难的事情，而从数据中不基于人的加工直接产生可用性价值在短期内依然是一个暂时看不到曙光的难题。因此，通过有效的大数据处理技术、手段快速提取使用者关注的数据成为了一个迫切的需求。

        数据标签产品致力于对数据通过打标签方式，对数据进行标记、分类，方便识别，方便检索。解决发现有价值数据的难题。

2.产品概述

2.1 产品描述

        数据标签产品是一款提供数据标记和检索的通用性应用产品。运用标引引擎、分布式计算框架和组合存储技术，可支持海量数据的高效处理和检索。数据标签产品的通用性使得数据标签不仅可以单独作为数据挖掘的应用外，还能将标记结果汇入数据管理平台成为其他应用的源数据。

        数据标签产品中允许用户进行自定义的标签体系和规则设定，通过对数据的匹配，将符合条件的数据标记上对应的标签，并进行混合存储。用户可以通过页面进行数据的筛选浏览查看，也可以通过开放的API进行标签数据的查询，还可以通过数据管理平台获取标签结果数据与其他数据再次进行关联组装。

2.2 产品结构

        数据标签产品采用多层结构。整个系统分为web层，应用接口层，应用服务层，计算服务层和存储层

        Web层：提供用户界面操作，包含场景，规则，标签，数据等组件

        应用接口层：提供web和对外api的接口

        应用服务层：对后台服务模块进行业务封装并提供接口调用

        计算服务层：含有标签系统的核心模块，承载了任务调度，数据组织，数据处理和数据打标签等模块

        存储层：使用关系型数据库和非关系型数据库，分布式存储集合形成的混合存储。保存了系统的各种配置，源数据，结果数据等

3.产品功能和特色

3.1 个性化的用户知识体系建设

数据标签产品为用户提供个性化的标签体系建设，整体标签以树形结构进行组织，标签上下层级间具有包含关系，数据标签产品通过自有技术提供用户进行不同层级的标签查询，可以方便的展示数据在不同标签维度上的信息。

3.2 灵活的自定义规则设定

• 多类型判断条件

        数据标签产品为数据标注提供了丰富的规则类型，用户可以对数据进行自定义的规则设置，规则可以进行与或的两层组合来满足复杂业务需求。针对数据文本，规则支持文本形式，数字形式和日期形式的判别条件。

• 支持行为类条件

        数据标签产品除了能够支持数据文本规则以外，还能够针对行为类型的数据设置规则，通过对数据的行为设置条件来筛选出符合某种行为的数据，使得用户不仅能够通过静态数据进行挖掘分析，还能够通过动态数据进行挖掘分析。针对行为数据，规则支持频率形式和统计形式的判别条件。

3.3 方便的数据源设定

        数据标签产品通过绑定主题来获取数据源，用户可以通过主题的建设组织自己的业务数据，再通过数据标签产品无缝的对业务数据进行标引标注，方便快捷。

3.4 标签数据检索

        数据标签产品提供用户的树形标签提供用户在检索数据的时候能够通过不同层级的标签进行检索，树形的标签结构天然带有上级标签包含下级标签的含义，检索的时候可以通过使用上级标签来检索所有满足下级标签的数据。

4. 产品技术优势

4.1 全自动数据组装

        数据标签产品通过自有的数据组织模块使用户完全不必关心多种类数据之间的组装，系统内部会自动将多种类的数据根据主题设定的关系进行组装，减少用户大量的配置工作。

4.2 高性能存储检索

        数据标签产品采用文档数据库，分布式数据库，内存数据库和全文检索组成的混合存储，存储标签、数据内容及标签上下级关系等内容。数据检索，标签检索，详情查看等都可以秒级完成。

5. 应用场景

5.1 基础场景 — 基础数据的补充完善

        对于我们日常使用的数据，通常已有的内容无法满足我们对数据分析的需求，数据本身可能颗粒太粗，可能内容层层包含，可能不能直观获得，使得我们在进行数据分析的时候力有未逮。数据标签针对这些情况为数据处理提供了数据维度补充，数据分析抽象，数据特征标注和数据内容总结四个基础功能场景，满足日常对于数据处理的需求。

5.2 业务场景 — 基于标签的人员维度补充

用户画像的构建，根据已有的各类数据，不断的为人员进行标签的扩展，以基础维度，社会维度，兴趣偏好和行为习惯四大类为展开项，进行人员画像，通过画像可以查询一个人物的各维度标签信息。也可以通过标签的筛选，来查看同类标签的人都有哪些。

5.3 业务场景 — 精准营销与推荐系统

用户画像描述了用户日常的购物偏好和习惯，例如某个用 户对价格敏感，偏好数码产品。则推荐系统可以根据用户的偏好，给用户推荐一些折扣 优惠较大的数码类产品。用户可能原本没有打算购买，但是看到折扣优惠较大，购买的 可能性提高，对电商来说就更容易促成一笔交易。

5.4 业务场景 — 用户人群分析与 BI 系统

通过对全局用户画像数据的某些维度进行聚合，则可以分析产品的用户人群特点。例如通过检验手机品牌价值与消费能力是否呈现正相关，进而对用户群进行分层。针对不同的用户群体，制定不同的运营策略，更好地服务不同群体。