注册有礼
< 返回资讯中心

构建大数据湖仓一体生态,促进数据要素价值发挥

发布人:中嘉和信 发布时间:2023.07.06 来源:通信世界全媒体

拥抱新变化,构建新平台

随着数字经济的发展,全球数据量已经进入YB时代(1YB,即1千万亿GB,约为4万亿台256GB手机的存储容量)。在数据规模的爆发式增长下,中国移动的数据形态呈现出“多模态”特点,即各类数据广泛应用于政府、企业,并逐步发展为全局、跨域、规模化应用。

同时,随着数据量的发展和数据融合的逐步加深,传统的数据库、数据仓库、大数据平台技术逐渐显露出“瓶颈”。在数据分散、重复存储、难于管理等多重困难挑战下,中国移动紧紧围绕YB时代生态、高效处理海量非结构化数据、全面提升数据韧性等数据治理演进方向,打造湖仓一体新型开放式架构。这既是中国移动直面数据孤岛挑战的态度,也可以看作是协同各界力量对建设未来新型大数据平台的尝试。

湖仓一体架构充分结合了数据湖和数据仓库的优势,在低成本的数据湖存储架构之上,继承了数据仓库的数据处理和管理功能,形成了一个完整且高效的数据处理体系,实现一份数据和一套任务在湖、仓之上的无缝调度和管理。

YB时代,从“存”到“仓”的蝶变

存算分离,即存储和计算使用单独的集群,按需分别扩展存储或计算资源,保证整体系统能够支持更多用户并发和更大数据量。

湖仓融合,形成了逻辑统一的一体化数据服务,开发者只需要提交标准SQL(数据库语言),即可计算出想要的结果。

湖仓一体作为一种新型开放式架构,能够充分结合数据湖和数据仓库的优势,在数据湖低成本的存储架构之上,继承数据仓库的数据处理和管理功能,存储、转换、集成结构化和非结构化数据,将不同种类数据融合在一起,并从中提取出有用价值。

“绿色、集约、智能”是湖仓一体技术架构上的核心优势。面对新的应用需求,一方面湖仓一体产品可从用户的核心诉求出发更好地支撑数据存储与分析;另一方面,湖仓一体架构可支持企业优化自身底层数据治理架构,从而帮助企业提升“人效”和“能效”,更精准地抓住商业机会,创造发展优势。湖仓一体技术所具备的高效的数据处理优势以及经济、节能优势,使之在实时数仓、支撑云原生的融合数据底座、降本增效等场景中具有广泛的应用前景。

基于湖仓一体的架构规划,中国移动打造了分布式协同计算平台。集群分布在全国九大区域中心,有机融合了数据湖(Hadoop)和数据仓库(OLAP)能力,实现物理分散、逻辑统一的一体化数据服务。

湖仓一体技术架构为大数据产业提供了未来路径和方法。陶涛强调,对于不同的企业来说,数据情况、业务需求各不相同,但对于统一数据存储、统一数据计算、统一数据管理,实现企业数据资产应用效能最大化的诉求是一致的。在联合产业合作伙伴发布技术标准、技术白皮书之后,陶涛代表中国移动呼吁产业合作伙伴共迎变革,共同构建湖仓一体创新生态,推进大数据下一代技术架构广泛应用。

中嘉和信作为深耕IDC行业十余年的数据中心服务商,致力于成为行业领先的数字化业务连续性保障服务提供商。业务覆盖金融机构、银行保险、人工智能、电商零售、交通运输、生产制造、能源化工、地产建安、生活服务等多个行业。中嘉和信为客户提供数据中心规划建设、数据中心托管运营、公有云、私有云、混合云DCI全球组网、云网融、信创集成服务、安全集成服务等定制化解决方案,依托经验丰富的专业技术服务团队和先进的运维服务管理体系,持续为各行业客户提供一站式数字化业务连续性保障服务,陪伴客户共同成长,助力客户实现梦想。如有业务需求请拨打010-51265666进行咨询,欢迎预约参观机房!

文章来源:互联网,如有侵权联系删除!

相关文章推算网融合产业发展分析(下)


热门新闻

版权所有©2023年北京中嘉和信通信技术有限公司京ICP备09037838号-6京公网安备11010602104635号