大数据时代,数据存储面临新挑战。数据存储技术已成为数字经济发展过程中不可或缺的底层基座。然而,随着非结构化数据不断增加,以服务器为中心的传统分布式存储方案在数据存储容量,成本,速度,安全,稳定,运维等方面已无法满足海量数据存储要求,已成为制约数字经济发展的一个瓶颈。
在此形式下,NVIDIA秉持打造低时延、高吞吐、高可靠、开放型基础设施的设计理念,提出了基于IPFS的高性能InfiniBandSSD池化解决方案。该解决方案旨在解决传统解决方案痛点,为海量数据存储业务赋能。
传统解决方案的痛点包括算力受限,使用成本高。传统解决方案算力高低依赖CPU/GPU与SSD之间的数据传输带宽,而CPU/GPU与SSD之间带宽又受限于本机SSD的数量。在此情况下,提高SSD并行性虽可在一定范围内降低计算时间,但会增加集群的采购成本,并且无法做到无限扩容。另外,受限于本机一体架构的制约,传统解决方案通常也无法做到CPU计算与GPU计算的平衡。同时,SSD导致使用成本偏高。
NVIDIAIPFS网络存储解决方案是大数据时代的数据存储新选择。IPFS是一种点对点(P2P)的分布式文件系统,可提供永久性和安全性存储,保证数据的隐私性,提供更快的数据读/写速度,及无限扩展能力。NVIDIAIPFS网络存储解决方案从SSD池化入手,借助InfiniBand网络极高的传输带宽,基于Credit的流控技术保证传输报文不丢包高质量传输,超低的传输时延等特性,将SSD从本地计算资源剥离出来,构造成共享存储资源池。
该解决方案可大幅提高SSD输出传输的带宽,有效提高SSD的使用率,从而提升了集群整体的数据封装效能,降低了整体采购成本。同时,依托NVIDIA的故障快照及网络管理等技术,可提高自动化、管理、监控方面的应用水平,有效降低运维压力。
NVIDIAIPFS网络存储解决方案还具备以下优势:超大容量,高性能弹性扩展;打破算力配比束缚,提高整体性能;复用率高,节约使用成本;简化算力优化配置,快速实现算力资源解耦;不同工作模式自由切换,封装效率高。通过降低成本、快速适配各类业务场景,该解决方案为企业提供了更好的数据存储方案。