危险,Intel!巨头联手搞计算存储

2020-03-23 10:27:41
Laura
存储
随着物联网设备和5G快速无线技术的兴起,企业正朝着基于边缘的基础架构部署迈进。计算存储是一种新的存储技术,它可以为边缘基础设施的存储和计算部分提供支持。利用计算存储、企业和电信服务提供商将有可能在边缘节点上支持大量数据处理。

随着物联网设备和5G快速无线技术的兴起,企业正朝着基于边缘的基础架构部署迈进。计算存储是一种新的存储技术,它可以为边缘基础设施的存储和计算部分提供支持。利用计算存储、企业和电信服务提供商将有可能在边缘节点上支持大量数据处理。

一些公司已经开始为企业等提供计算存储解决方案。下面让我们深入了解计算存储的概念,以及它是如何得到企业和技术供应商支持的。

对计算存储的需求

目前,技术领域的发展主要集中在数字用户的智能实时体验上。这就要求数据中心或基础设施堆栈达到极高性能水平,配备所有最新的硬件资源和计算处理技术,人工智能、机器学习、分析技术已经转移到数据中心,使得数字设备智能化。

因此,我们看到了许多新数据中心技术的发展,用来提高数据中心的性能。同时我们发现,传统的机械硬盘正在被基于闪存的固态硬盘阵列所取代:使用NVMe和FPGA来增强存储设备中的数据访问;使用GPU实现超大规模数据中心等等。总的来说,我们见证了支持处理大量数据的高性能计算(HPC)系统的出现。

向数字化转型导致了两种类型的需求逐渐扩大。首先,Al/ML和分析应用程序需要比当前通过传统存储系统提供的更快的数据访问速度。其次,随着物联网和边缘计算的发展,数据处理的需求也会不断增加。此外,5G网络生成的海量数据将以指数级增长支持物联网和边缘计算。

尽管超大规模的数据中心都配备了所有闪存存储阵列,但企业在满足AI / ML或大数据应用程序不断增长的处理需求方面目前面临着瓶颈。

这就是计算存储的来源。

什么是计算存储,我们为什么需要它?

计算存储是将一些处理移到存储设备附近或与存储设备一起移动的技术。它也被称为就近计算。

通常,数据必须在CPU和存储层之间移动,这会导致输入查询的响应时间延迟。应用计算存储对于解决Al/ML或分析应用程序的实时处理需求至关重要。我们可以在存储中托管这样的高性能计算应用程序,从而减少资源消耗和成本,并为延迟敏感的应用程序实现更高的吞吐量。此外,计算存储可以减少数据中心资源的功耗。

计算存储之所以对数据中心有利,主要原因是存储容量与连接到CPU的主机内存数据带宽(PCIe链路)不匹配。为了理解这种不匹配是如何在超大规模的数据中心中引起的,我们以Azure和Facebook在OpenCompute上提出的服务器架构为例。

如上图所示,这个服务器中,通过PCIe链接将64个SSD附加到一个CPU主机。每个SSD都有16个闪存通道用于数据访问,使内部闪存总带宽达到8.5 GB / s。现在,可在64个这样的SSD,使总存储带宽达到544 GB/s。PCIe链接的带宽限制为16 GB / s,这是数据到主机CPU路径的巨大不匹配。在这种情况下,可以应用就近计算,以便将大多数关键的高性能应用程序转移到SSD。

SNIA标准与市场发展

全球存储社区SNIA已经成立了计算存储技术工作组(TWG),用以促进计算存储设备的互操作性,并为系统部署、供应、管理和安全定义接口标准。TWG包含的存储产品公司,如Arm,Eideticom,Inspur,Lenovo,Micron Technology,NetApp,NGD Systems,Nyriad,Samsung Electronics ,ScaleFlux,SK Hynix,Western Digital Corporation和Xilinx。

无论是中小型企业数据中心还是超大型数据中心,SNIA定义了以下三个标准用于任何类型的服务器实现计算存储。

计算存储驱动器(CSD):提供持久数据存储和计算服务的组件;

计算存储处理器(CSP):在不提供持久存储的情况下向存储系统提供计算服务的组件;

计算存储阵列(CSA):计算存储驱动器,计算存储处理器和存储设备的集合,同时结合一组控制软件。

目前研究人员正在开发POC,用于测试SNIA在高性能计算应用程序上定义的标准。例如:用Catalina项目演示CSD。

此外,SNIA计算存储TWG的一些核心成员目前已提供一些解决方案,包括NGD Systems 、Samsung、ScaleFlux、eidicom和Nyriad。

结论

考虑到通过高性能计算应用程序对过程数据需求的不断增长,计算存储标准将是一个很好的补充。这种存储内嵌入式处理将采用不同的形式和方法,和基于NVMe的体系结构相结合,用于增强SSD服务器。

收藏
免责声明:凡注明为其它来源的信息均转自其它平台,由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本站联系,我们将及时更正、删除,谢谢。联系邮箱:xiali@infoobs.com