广电有线享TV全新改版升级
银铃模式
儿童模式
【官方公告】中国广电5G现全面支撑 苹果
高质量发展年
5g精彩启航
中国广电
电视端“强国TV”山东上线
有线优享 新版上线
安全生产

一类大数据平台实现架构的先容

  大数据平台的总体目标是构建统一的数据采集、存储、挖掘与分析处理能力。平台必须支撑海量异构数据源的采集,包括运营商内部的结构化、半结构化、非结构化数据和外部第三方数据,并解决数据量暴增所带来的存储与计算性能问题。

  大数据平台选用目前主流的Hadoop分布式系统。基于Hadoop的大数据平台不仅是底层分散的各种数据源的汇聚平台,更重要的是要在数据汇聚基础上对数据进行有效跨域整合,并基于强大的数据挖掘分析模型,对上层应用提供各种跨域数据分析能力,从而使应用能专注于自身的业务逻辑,快速创新,促进上层业务应用百花齐放。大数据平台的关键特点如下:

  一、基于Hadoop的x86服务器集群,支撑强大的可扩展能力,可以随数据量增长而平滑扩容;将Hadoop与虚拟化云技术结合,可以实现更灵活的分布式资源管理能力;基于Hadoop流处理技术,提供实时数据分布式处理能力。

  二、数据统一采集、存储、整合、共享。基于数据透明访问模块提供数据统一访问管理,实现应用与数据解耦,同时增强数据安全管控能力,提升用户隐私保护能力。

  三、整合数据挖掘模型,构建运营商统一的商业洞察与网络洞察组建或模型库,提供统一的能力服务,快速部署应用。

  基于Hadoop的大数据平台系统架构功能逻辑上主要包括三大块:数据层、能力层、管理域、具体先容如下:

  数据层主要包括分布式ETL模块、数据库、数据透明访问模块。

  能力层主要包括大数据挖掘建模基础能力组建、商业洞察组建、网络洞察组建、能力总线等模块。其中,大数挖掘建模基础能力组建是大数据的加速器,主要提供数据拟合、聚类、机器学习等核心算法库,用于寻找数据间的关系;也包括文本分析、语音分析、视频分析、图分析、自然语言处理、搜索引擎等各种类型的数据分析处理技术;还包括数据分析集成开发环境。能力层使整个大数据的核心,使大数据平台区别于传统数据平台,真正具备数据智能。

  管理域主要包括系统管理与数据治理,系统管理主要管理软硬件资源,提供简单易用的系统操作维护界面,包括集群安装、部署管理、App升级管理、节点管理、服务管理、任务管理、配置管理、集群监控、告警管理、日志管理等功能;数据治理主要管理系统内存储的数据,包括元数据管理、数据质量管理、数据生命周期管理、数据安全管理等。

XML 地图 | Sitemap 地图