架构设计
Golaxy BDE大数据平台是基于底层的基础平台,自下而上分为四层,依次为数据存储层、数据总线、数据处理层、业务适配层。
·数据存储层:支持异构数据的统一稳定的存储管理,对外提供统一的分布式调用接口。
·数据总线:支持数据采集、过滤、缓存、中转分发调度等。数据总线是拉通计算与存储的枢纽,同时是内外数据交换的通道,完成数据在组件间及层次间中转、缓冲及调度。
·数据处理层:基于支持多种计算模型的分布式计算框架,为上层业务系统提供专业的计算处理库,包括文本处理、搜索引擎、数据挖掘等。
·业务适配层:为上层业务系统提供不同协议和标准的访问接口。
产品优势:
立体化的大数据处理平台
BDE天玑大数据平台支持数据采集、存储、处理、业务适配,满足您立体化多元化的需求。
数据流转融合
平台无需二次接口开发,全程无代码。 支持实时流式计算和数据清洗加工,实现任何数据类型在组件范围内的无障碍互通。
统一SQL支持
平台基于Hadoop存储体系,支持完整的SQL 2003,可运行TPC-DS标准测试集。 平台对SQL 语言进行了优化扩展,正在构建混合SQL组件,实现不同类型大数据存储组件的统一查询。
企业级解决方案
提供数据存储、分布式计算、数据分析挖掘等支持,解决企业从GB级到PB级数据分析领域的各种问题。
产品功能:
多源异构数据采集
平台提供丰富的数据集成接口,汇集多源异构数据资源,使杂乱的原始数据变为统一高质量的数据资产。
数据挖掘
平台拥有丰富的数据建模挖掘工具,将杂乱的数据转化为有效的预测和决策。
立体化运维管理
平台提供面向系统管理员及数据分析师的WEB及CLI方式的运维及操控两套平台。
数据存储
支持PB量级结构化和非结构化数据的存储与管理,对外提供统一的分布式调用接口。
数据可视化
提供可视化分析与报表系统,用户通过可视化分析工具、可视化引擎等开展交互式数据分析。
应用场景:
BDE平台提供大数据处理能力,适用于大数据实时查询应用、数据高并发分析应用以及数据流式数据处理分析等,既可以用作全量基础结构化及半结构化数据的组织和存储,同时提供对此全量数据的实时查询,也可兼容传统数据仓库OLAP场景,对复杂SQL分析可提供近实时的分析性能。