TuGraph Analytics动态插件：快速集成大数据生态系统

介绍

插件机制介绍

插件机制为GeaFlow任务提供了外部数据源的集成能力扩展，GeaFlow支持从各类Connector中读写数据，GeaFlow将它们都识别为外部表，并将元数据存储在Catalog中。GeaFlow已有一些内置的插件，例如FileConnector，KafkaConnector，JDBCConnector，HiveConnector等。

GeaFlow也提供了动态插件的功能，用户可以通过Java SPI的方式自定义Connector，连接外部数据源，例如Kafka，Hive等，也可自定义实现不同的sink、source连接方式和逻辑，更多关于自定义插件的介绍，可参考开发手册中 自定义Connector 章节。同时，GeaFlow Conosole平台为用户提供了插件管理的功能。在Console中，插件属于一种资源类型，用户可以通过白屏化的方式在Console上注册自定义的Connector插件，并在DSL任务或创建表时使用自定义的插件。

插件模型设计

• GeaflowPlugin: 插件模型。
• GeaflowPluginType: 插件（数据源）类型（KAFKA、HIVE、JDBC、FILE等)。
• GeaflowPluginCategory: 插件种类（图、表、文件等）。
• GealfowPluginConfig: 插件配置。
• GealfowJarPackage: jar包。

上文所述中，目前支持用户自定义Connector插件种类为TABLE，即可在表配置中使用，作为表的输入或输出源，其插件类型为用户自定义。

除此之外，在GeaFlow Console中，插件的概念更为广泛，还包含了一些系统级的插件，是GeaFlow作业运行所依赖的外部系统，例如运行时元信息插件(RUNTIME_META)、指标系统插件(METRIC)、外部文件系统插件(REMOTE_FILE)、外部图存储系统插件(DATA)，如下列表所示。由插件类型和插件种类可唯一确定一个插件，而插件类型和插件种类是多对多的关系，一个种类可能有多种类型，例如REMOTE_FILE种类的插件，其类型可以是LOCAL、DFS、OSS，对应了不同的外部存储系统。