架构组成

Data Analytics产品基于B/S架构开发,业务人员可以直接使用浏览器进行数据分析操作,避免了单机产品IT部署管理的难题,其架构体系如下图所示:


 
DataHunter产品服务架构

Data Analytics总共分为十六个模块,采用标准的微服务架构,每个模块相对独立,可以独立升级维护;同时也可以根据客户实际情况,选择性的部署其中的一部分模块。

►    User Interface / Admin:Data Analytics产品采用前后端分离的模式进行开发,User Interface / Admin属于前端应用模块,通过API服务和后端服务进行通信,前端应用可以通过浏览器直接使用,也可以根据实际情况,打包成本地应用程序,兼容客户端安装模式。

►    RPC Service:数据中台的服务路由模块,用于处理各类前端业务请求,并路由至相对应的模块。

►    Common Library:产品共用类库模块,属于系统底层支持层。

►    Authorization:用户权限模块,对用户的操作行为进行授权,Analytics使用此模块进行用户权限管理。

►    Monitor / Audit:监控审计模块,可以通过此模块对产品内的用户操作行为进行监控和审计,同时可以监控整个产品的运行状况。

►    Dashboard Service:Data Analytics的核心模块,允许用户进行数据可视化分析,提供探索式分析基础能力支撑,看板协同过滤,任意维度下钻分析等能力。

►    Storyboard Service:Data Analytics数据报告模块,可以通过快照、图表,自动化组建数据报告,并可以生成导出为PPT / PDF。

►    Admin Service:系统管理服务功能,用于Analytics企业版本对用户,数据进行管理。

►    Scheduler Engine:任务调度引擎,用于内部批量数据处理任务调度,可以根据数据处理计算量,进行多节点部署,自动进行集群化平滑扩展。

►    Data Algorithm:数据算法引擎,可以训练机器学习算法,嵌入AI算法,对数据集进行操作和计算,帮助Analytics赋能业务。

►    Data Source:数据处理引擎,提供Analytics内部工作表管理,数据模型管理,表关联等能力。

►    Query Engine:数据查询服务模块,可以将用户的协同过滤,下钻等数据分析操作,映射为数据查询语句和方法。

►    Connector:数据连接器模块,用户可以通过此模块,导入企业内各类异构数据源,包括结构化数据库,NoSQL数据库,数据文件,API等数据来源。

►    Storage Adapter:存储适配器,可以将数据操作封装起来,适应不同的数据存储方案,兼容客户原始投资。

►    Data Engine:DataHunter 自有的数据存储引擎,采用最先进的MPP + 内存架构,支持多节点集群部署,可以满足企业大规模数据存储以及快速数据分析响应的要求。