1 开发语言选择
1.1 基于开源框架
以开源框架本身支持的主流语言作为选择,目前选择的框架,均支持Java语言。
1.2 定制开发的算法
从长远来看,人工智能算法需要依赖于分布式运算架构,无论是MR还是SPARK,两种平台均支持Java语言,所以选择Java语言为主。
1.3 纯运算函数
对于定制开发算法中,某些纯数学运算的函数,可以单独封装成C/C++运算库,供算法模块调用,充分利用C/C++在运算性能方面的优势。
2 系统体系
2.1 技术架构图
2.2 活动图/流程图
3 数据驱动层设计
3.1 功能设计
形态 Java类库
调用方式 引用jar包,调用类的方法
3.1.1 数据源类别
功能描述 设置数据源的类型
输入参数 枚举
输出参数 是否成功
备注 HDFS/Hbase/Hive/Mongodb/RDMS/File
3.1.2 数据源链接信息
功能描述 设置数据源链接参数
输入参数 连接串
输出参数 设置状态
备注
3.1.3 打开数据源
功能描述 打开数据源
输入参数
输出参数 是否成功
备注
3.1.4 关闭数据源
功能描述 打开数据源
输入参数
输出参数 是否成功
备注
3.1.5 查询数据源状态
功能描述 查询数据源状态
输入参数
输出参数 状态信息
备注
3.1.6 设置空间字段
功能描述 设置空间字段
输入参数 表名称、空间字段所对应源数据字段列表(五元组)
输出参数 状态
备注
3.1.7 设置标签字段
功能描述 设置标签字段
输入参数 表名称、ID字段、标签字段列表
输出参数 状态
备注
3.1.8 读取所有数据表
功能描述 读取所有数据表
输入参数
输出参数 数据列表
备注
3.1.9 按行读取数据
功能描述 按行读取数据
输入参数 行数
输出参数 数据集
备注
3.1.10 按字节读取数据
功能描述 按字节读取数据
输入参数 位置
输出参数 数据集
备注
3.1.11 按条件读取数据
功能描述 设置查询条件
输入参数 自定义SQL语句
输出参数 数据集
备注 根据数据源的不同,智能识别SQL数据的支持程度
3.1.12 创建数据表
功能描述 创建数据表
输入参数 自定义SQL语句
输出参数 结果
备注 根据数据源的不同,智能识别SQL数据的支持程度
3.1.13 按行插入数据
功能描述 按行插入数据
输入参数 自定义SQL语句
输出参数 结果
备注 根据数据源的不同,智能识别SQL数据的支持程度
3.1.14 按字节插入数据
功能描述 按字节插入数据
输入