架构组成

DataFormula整体基于B/S架构,业务人员可以通过浏览器,操控企业数据资产,并对其进行管理,加工和输出,具体架构如下图所示:


DataFormula主要分为十四大模块,采用标准的微服务架构,每个模块相对独立,可以独立升级维护;同时也可以根据客户实际情况,选择性的部署其中的一部分模块。

图中图例表示该模块支持集群化部署,可以针对不同的数据量和计算复杂度,增加集群节点。

图中图例表示该模块支持独立的集群化时序数据存储,可以将IOT等流式数据存储至特定的时序数据库。

► UserInterface:DataFormula产品采用前后端分离的模式进行开发,UserInterface属于前端应用模块,通过API服务和后端服务进行通信,前端应用可以通过浏览器直接使用,也可以根据实际情况,打包成本地
应用程序,兼容客户端安装模式。

► Router:数据中台的服务路由模块,用于处理各类前端业务请求,并路由至相对应的模块。

► ServiceCenter:用于微服务的注册和管理,所有的系统服务均需要注册只服务中心,并通过服务中心进行发现和调用。

► Authorization:用户权限模块,对用户的操作行为进行授权,数据中台使用此模块进行用户权限管理。

► Monitor/Audit:监控审计模块,可以通过此模块对数据中台内的用户操作行为进行监控和审计,同时可以监控整个数据中台的运行状况。

► AssetsManagement:DataFormula的核心模块,允许用户进行中台内数据资产的管理,包括数据模型,数据目录的增删改查,复制,继承等操作。

► Scheduler:任务调度引擎,用于中台内部批量数据处理,可以根据数据处理计算量,进行多节点部署,自动进行集群化平滑扩展。

► DataAlgorithm:数据算法引擎,可以训练机器学习算法,嵌入AI算法,对数据集进行操作和计算,帮助数据中台赋能业务。

► DataTransform:数据转换处理引擎,可以对数据中台内的数据集进行加工处理,提供标准的数据加工(ETL)算子,可以平滑兼容企业原有的ETL过程。

► DataServices:数据服务API模块,可以快速通过配置,输出API,快速支持业务,该模块支持多节点集群化部署,以适应API访问压力的增加。

► Connector:数据连接器模块,用户可以通过此模块,导入企业内各类异构数据源,包括结构化数据库,NoSQL数据库,数据文件,API等数据来源。

► StorageAdapter:存储适配器,可以将数据操作封装起来,适应不同的数据存储方案,兼容客户原始投资。

► DataEngine:DataHunter自有的数据存储引擎,采用最先进的MPP+内存架构,支持多节点集群部署,可以满足企业大规模数据存储以及快速数据分析响应的要求。

► Streaming:通用流式数据处理模块,支持集群化的部署方案,支持将流式数据通过实时计算,得到结果后,存储至DataEngine,也支持将流式数据独立存储至时序数据库,方便后续使用。