运行原理
数据资产管理
DataFormula的业务核心,是围绕企业数据资产管理展开的。数据资产管理包括:数据模型管理(增删改查等操作),数据集管理(数据集指的是数据中台内部的各种数据集合,可以是二位数据表,也可以是非结构化数据集)。
数据处理逻辑
DataFormula的核心数据处理加工逻辑分为两大体系:
► 批量式数据处理,针对各类业务系统,需要批量对数据进行导入,加工的业务场景;
► 流式数据处理,针对IOT、订单等业务流式业务数据,进行实时计算处理,并将计算结果入库;
这两大业务数据处理体系,都可以在数据加工处理模块进行管理,用户可以新建批量数据转换的任务,也可以新建流式数据处理任务,同时在数据资产模块,可以对处理完成的数据进行组织,调整业务数据模型。
数据质量管理
DataFormula的数据质量模块,是作为数据处理模块的补充,以及数据集模块的补充,并没有作为单独的功能设计,原因是数据质量只在数据集管理和数据加工处理时存在意义,这也是DataHunter数据中台产品特有的设计。
主数据管理
主数据管理能力,作为DataFormula产品实施工作的一部分,属于业务层能力在数据中台中的体现,可以使用数据资产,数据模型,以及算法/加工等能力组合实现。之所以这样实现,也是为了简化产品功能,让业务人员对数据工作更容易上手。
标签化/标签算法
标签化/标签算法功能,在DataFormula中,可以通过数据模型,以及数据算法功能组合实现,通过特定算法,对某些数据进行标签化,输出为模型中的另一个数据集,从而达到标签化的功能。通过这种方法,可以完全满足任何数据标签化的需求,并保证产品的灵活性。