当前位置:首页 > 知识 >

NVIDIA IPFS网络存储助力大数据时代数据存储业务

随着数字化转型升级及云计算、物联网、人工智能、5G等新兴技术的迅速发展和应用部署,全球数据量正在无限制地扩展和增加。根据国际权威研究机构IDC预测,2018年到2025年之间,全球产生的数据量将会从33ZB增长到175ZB,复合增长率将达到27%,其中,超过80%的增长数据为非结构化数据。

大数据时代,数据存储面临新挑战。数据存储技术已成为数字经济发展过程中不可或缺的底层基座。然而,随着非结构化数据不断增加,以服务器为中心的传统分布式存储方案在数据存储容量,成本,速度,安全,稳定,运维等方面已无法满足海量数据存储要求,已成为制约数字经济发展的一个瓶颈。

在此形式下,NVIDIA秉持打造低时延、高吞吐、高可靠、开放型基础设施的设计理念,提出了基于IPFS的高性能InfiniBandSSD池化解决方案。该解决方案旨在解决传统解决方案痛点,为海量数据存储业务赋能。

传统解决方案的痛点包括算力受限,使用成本高。传统解决方案算力高低依赖CPU/GPU与SSD之间的数据传输带宽,而CPU/GPU与SSD之间带宽又受限于本机SSD的数量。在此情况下,提高SSD并行性虽可在一定范围内降低计算时间,但会增加集群的采购成本,并且无法做到无限扩容。另外,受限于本机一体架构的制约,传统解决方案通常也无法做到CPU计算与GPU计算的平衡。同时,SSD导致使用成本偏高。

NVIDIAIPFS网络存储解决方案是大数据时代的数据存储新选择。IPFS是一种点对点(P2P)的分布式文件系统,可提供永久性和安全性存储,保证数据的隐私性,提供更快的数据读/写速度,及无限扩展能力。NVIDIAIPFS网络存储解决方案从SSD池化入手,借助InfiniBand网络极高的传输带宽,基于Credit的流控技术保证传输报文不丢包高质量传输,超低的传输时延等特性,将SSD从本地计算资源剥离出来,构造成共享存储资源池。

该解决方案可大幅提高SSD输出传输的带宽,有效提高SSD的使用率,从而提升了集群整体的数据封装效能,降低了整体采购成本。同时,依托NVIDIA的故障快照及网络管理等技术,可提高自动化、管理、监控方面的应用水平,有效降低运维压力。

NVIDIAIPFS网络存储解决方案还具备以下优势:超大容量,高性能弹性扩展;打破算力配比束缚,提高整体性能;复用率高,节约使用成本;简化算力优化配置,快速实现算力资源解耦;不同工作模式自由切换,封装效率高。通过降低成本、快速适配各类业务场景,该解决方案为企业提供了更好的数据存储方案。

猜你喜欢

微信二维码

微信