“存算”协同,让存储发挥极致性能

极道科技北京有限公司
如果没有合适的方法和人工干预,存储只能根据当前的IO特性,以确定的缓存策略和数据一致性策略,甚至数据的摆放位置来为应用提供服务,无法【根据应用的特点】实现对存储特性的精确动态调优,但高性能计算、AI训练和大数据分析对应的数据访问模式是不同的。

高性能计算(HPC)、人工智能(AI),大数据(BigData)是当今数据密集的企业所面临的重大机遇和挑战,更多“数据大”企业开始关注IT基础设施和架构的革新。作为数据的最终归宿和一切分析计算的基础,存储设备的稳定性,扩展性,和性能表现成为了IT系统优化工作的重中之重。

然而,大多数企业可能不甚了解,存储系统的高性能,其实是相对的,有高带宽的、有高IOPs的、有元数据性能表现出色的。不可能在单个系统中各个维度都追求极致性能表现。

存储性能常见优化方式

通常而言,带宽(吞吐量)和每秒I/O操作数(IOPS)是衡量存储性能的两大指标。

在实际应用中

※希望得到更“高”的IOPS,就需要尽可能【减少】每次数据存取请求涉及到的盘数;

※希望吞吐更“大”(高带宽),就需要聚合【更多】个盘的带宽。

显然,带宽与IOPS两项指标像不可兼得的鱼和熊掌,不可能在一套存储系统中都得到极致优化。

通用存储本来是个傻盒子

如果没有合适的方法和人工干预,存储只能根据当前的IO特性,以确定的缓存策略和数据一致性策略,甚至数据的摆放位置来为应用提供服务,无法【根据应用的特点】实现对存储特性的精确动态调优,但高性能计算、AI训练和大数据分析对应的数据访问模式是不同的。

需要存储在

不同时段:When

不同配置区域:Where

为应用的不同计算阶段:What

提供尽可能高的存取效率和并行能力

所以如何让【存储感知应用】才是设计存储系统时需要重点关注的

存储性能如何优化更合理

通过大量客户案例以及对用户数据处理模式的研究表明,从计算任务调度入手,控制计算任务的调度执行,让计算在开始执行之前给存储发送【提示性信息】,协助存储系统预判此次任务的IO模式,以做出策略选择和定向优化,才是王道。

存储系统如果具备了【应用感知】和【存算协同】,则可使存储系统变得可控、可视、可变,为存储赋予了【自我调节】的能力,主动适配上层业务场景。

“存”与“算”如何协同?

面向应用针对性的测试,能体现存储在特定业务模式下的表现,这里需要引出另一个理念:【计算和存储的协同设计】。其目的是为了让存储系统更适应数据计算应用的模式,发挥更好的数据存取效能。

在存储方面,针对不同的应用场景、不同的IO模型、不同的空间密度和性能需求,极道设计了两个系列的分布式存储系统:极道的ALAMO和ANNA。

ALAMO:分布式文件存储系统

ALAMO可聚合所有多个存储单元的容量、处理能力和带宽资源,便于大量客户端的同时数据访问。ALAMO通过灵活的设计结构,既可以全部对称部署,又可以在超大规模的情况下非对称部署,实现大数据容量和小的元数据聚合代价。满足海量复杂数据对大容量、高宽带和频繁元数据操作的要求并且可轻松扩展至上百节点,达到PB甚至EB级容量。ALAMO灵活的数据冗余策略,以及高可用架构完美的满足了客户对数据高可靠、高可用性的需求。

ANNA:非结构化(文件/对象)分布式存储系统

ANNA面向高IOPS和元数据密集应用。ANNA的性能随节点数量增加线性增加,并且高度智能化,可根据数据热度提供智能存储分层策略,利用负载均衡策略消除性能瓶颈。

同时ANNA还提供融合应用容器的支持,利用存储节点的剩余计算能力直接运行应用程序,极大减轻网络负荷。

在计算方面,针对多样化的数据结构、多样性计算框架,极道设计了ABC融合计算系统

ABC融合计算系统

极道的ABC融合计算系统(A代表AI,B代表大数据Big Data,C代表Computing即传统的高性能/高通量计算和新兴的图计算。)是一款可以动态地构建计算框架的分布式计算系统。并且以高度智能化的计算框架动态构建和系统资源统一调度,不仅使多调度器之间相互合作,突破了计算集群规模瓶颈;智能的执行引擎还可以帮助用户按照自身业务需要快速构建可视化、可编辑的数据分析流程,获得极致的数据并行处理和高效的分析计算,实现业务的敏捷开发。

“存算”协同让存储性能达到极致

通过智能调度,ABC融合计算系统可以动态感知应用的IO类型,并根据数据流动态调节每一个计算阶段所需的计算框架、分配合适的计算资源,让每一阶段计算都极速高效。

同时,辅以应用感知提高计算和存储的协同,让计算在存取数据过程中与存储充分协作,以便在计算过程中采用更好的缓存策略、数据一致性策略,甚至将数据调度到合适的存储位置,获得更好的数据存储效能。

【存算协同】,使极道分布式存储系统能够【自动根据应用的IO模式进行适配】,具有不同性能特点的应用得以“物尽其用”,从根源上消除了存储性能瓶颈,实现了复杂应用场景下数据存取性能的最优化。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论