运行原理
 
数据资产管理

DataFormula的业务核心,是围绕企业数据资产管理展开的。数据资产管理包括:数据模型管理(增删改查等操作),数据集管理(数据集指的是数据中台内部的各种数据集合,可以是二位数据表,也可以是非结构化数据集)。

数据处理逻辑

DataFormula的核心数据处理加工逻辑分为两大体系:

► 批量式数据处理,针对各类业务系统,需要批量对数据进行导入,加工的业务场景;

► 流式数据处理,针对IOT、订单等业务流式业务数据,进行实时计算处理,并将计算结果入库;

这两大业务数据处理体系,都可以在数据加工处理模块进行管理,用户可以新建批量数据转换的任务,也可以新建流式数据处理任务,同时在数据资产模块,可以对处理完成的数据进行组织,调整业务数据模型。

数据质量管理

DataFormula的数据质量模块,是作为数据处理模块的补充,以及数据集模块的补充,并没有作为单独的功能设计,原因是数据质量只在数据集管理和数据加工处理时存在意义,这也是DataHunter数据中台产品特有的设计。

主数据管理

主数据管理能力,作为DataFormula产品实施工作的一部分,属于业务层能力在数据中台中的体现,可以使用数据资产,数据模型,以及算法/加工等能力组合实现。之所以这样实现,也是为了简化产品功能,让业务人员对数据工作更容易上手。

标签化/标签算法

标签化/标签算法功能,在DataFormula中,可以通过数据模型,以及数据算法功能组合实现,通过特定算法,对某些数据进行标签化,输出为模型中的另一个数据集,从而达到标签化的功能。通过这种方法,可以完全满足任何数据标签化的需求,并保证产品的灵活性。