在2021乃至下一个十年，存储行业将迎来哪些发展？有哪些技术将逐渐被淘汰，又有哪些技术会兴起？
拥有30余年从业经验的IT顾问Chris Evans分享了他对存储介质、系统、SDS，以及容器附加存储技术（Container attached storage）的发展洞察。
本文在不改变原意的基础上进行了节选翻译，以下为正文内容。
存储介质
PLC闪存开始兴起：PLC将每个存储单元（Cell）中数据存储位数从QLC的4个提高到了5个，相比QLC只提升了25％，技术发展的回报率持续下降。
SLC->MLC–容量提升达100%
MLC->TLC–容量提升达50%
TLC->QLC–容量提升达33%
QLC->PLC–容量提升达25%
数据存储位数的提升是以牺牲耐用性来实现的，这意味着PLC将更适合用于读密集型负载，当然，存储厂商会继续优化介质的耐用性，但不可避免的是，随着数据存储位数的提升，延迟会越来越高。
应该不会有单纯用PLC的存储设备，PLC应该结合其它技术来使用，比如分区存储（Zoned Storage）。在分区存储中，部分介质以PLC的模式运行，而另外一部分则是TLC或者QLC的模式运行。这种方式可能还会与其他方案，比如计算型存储（Computational Storage）结合。
400层的NAND闪存：现在的NAND介质正在向176层和192层发展，而且，发展的步伐似乎没有放慢的意思。我们可以期待在2021年看到至少384层或者256层的NAND。
如果能在不进行大量重新设计的前提下继续提升密度，那么增加层数的回报会大于数据存储位数增加的回报。在未来的发展中，靠增加层数实现的增长速度可能会放缓，但目前来看，3D-NAND增加层数仍是增加设备容量的主要方式。
分区介质：无论是在磁盘还是固态存储市场，分区存储对于大容量存储介质都非常重要。SMR技术提升了磁盘的存储密度，如今有许多操作系统都对SMR进行了优化，不过，要注意的是，在引入对性能有较大影响的技术时，厂商需要尽可能透明。
在未来十余年，HAMR，HDMR和MAMR还将继续不断提升容量。如果成本合理的话，未来几年可能会看到多读写臂磁盘，甚至每个盘片都有一个独立的磁头。
所有这些技术趋势都说明需要在外部外围设备上做更多工作，来实现更大的并行度，这种趋势在未来十年将持续下去。
计算型存储用例：计算型存储是一种新的解决I/O瓶颈的方式，它将计算推送到存储一侧。在许多场景下，这种方式都可以高效地进行分布式计算，可以对数据执行独立的进程。
计算型存储厂商已经在市场上推出了相应产品，但应用还没有跟上，炒作的意义更大一点。现阶段还处于早期，主要的解决方案要么是实现批处理，要么则是基于事件的处理，或者是用在存储上，例如用于嵌入式固件或FPGA中的压缩过程。
希望2021年能出现新的编程模型，允许跨多个设备进行分布式处理。同时，还希望出现改进的安全控制措施，以防止计算型存储设备被用作攻击媒介。
我希望能看到计算型存储在边缘场景部署，并集成到传统存储设备中，帮助传统存储做Offload，从而减轻传统存储处理数据密集型工作负载的压力。
DNA存储：把DNA用于长期存储的概念虽然有了发展的苗头，但我预测下一个十年中，DNA存储还是只能停留在概念阶段。
总结：
过去十年里，存储领域最重要的变化就是存储软件和硬件之间的集成和协作水平在不断提高。磁盘和SDD不只是一个个黑盒子，存储系统必须考虑每种介质的物理特性。
在许多情况下，操作系统或应用程序层之间的相互调用会让依赖关系变得复杂，在未来十年的发展中，那些在市场上比较成功的存储系统，他们的系统与存储介质之间的交互将更加密切，系统的复杂度也会继续增加。
存储系统
成本降低且可靠性提升：云存储的成本已经趋于平稳，不会有大幅度的降低，目前，云厂商主要是通过构建更多的层级来降低成本，而本地存储市场会面临更激烈的竞争。
基于服务的定价模型：接下来几年，基于服务的采购和计费将更流行。这要求架构具备良好的扩展性，具有远程管理功能，并且具备高度商品化的特点。
转向全闪存：全闪数据中心说了很多年了，随着闪存成本的降低，单位容量的价格也越来越低，但对于大量冷数据而言，闪存在未来十年可能都没什么吸引力。但对于活跃的数据而言，闪存和持久性内存将取代磁盘驱动器。我预计，硬盘将在五年内成为归档解决方案的专属介质。
功能特性停滞不前：如今，很难在共享存储解决方案中看到新的功能特性。未来十年里，存储平台的新功能将越来越少，存储平台的变化也会越来越小。存储系统最主要的变化在于如何利用好新的介质。
企业存储阵列走向终结：起源于上世纪九十年代的“整体式”存储架构将走向终点，当然，与大型机关联的存储还会继续存在。中端存储能满足绝大多数的存储需求，我预计主流的块存储平台都将是以中端存储为主。
集成：共享存储最大的优势就是它的集成度。如果像Kubernetes这种容器框架变得跟容器一样动态性极强，那就得构建一个新的持久性存储层，而共享存储就非常合适。共享存储不仅具备持久性和弹性，它还集成了数据保护功能。我希望能有更多类似的集成，这样一来，存储系统可以在连接服务器的状态下，实现更高的自主性。
SOHO存储厂商的崛起：在经典的创新者的窘境中，我设想会出现这种存储厂商，它从低端市场入局，从家用存储市场开始入手，然后逐步向越来越多的存储场景渗透。然而，小容量的存储市场将面临更多的挑战，包括来自公有云存储的挑战。
总结：
共享存储市场是一个非常成熟的市场，厂商之间存在激烈的竞争关系，利润会越来越薄。未来十年，预计设备厂商数量将大大减少，目前，我们已经看见了许多合并和收购案。2021年，预计会有更多合并和收购发生，到2030年的时候，市场上将会剩下仅有的几家厂商。存储设备厂商的黄金时代已经过去，接下来将是软件和云的时代。
软件定义存储
早期的SDS方案主要是软硬件分离，厂商主要卖的是可在标准硬件上运行的软件，根据容量或硬件的Lincence收费。虽然低成本的硬件很有吸引力，但它存在兼容性，Bug和供应链等方面的挑战。于是，后来的SDS方案主要是软硬一体的方式交付，以下是我对SDS发展阶段的总结：
硬件分离–存储软硬件独立部署；
专有的SDS解决方案–包括对象和文件存储，以及大量基于块的产品；
专有的SDS系统，将软件方案与经认证和测试的硬件打包来出售，具备可预测和可扩展的性能；
抽象的SDS解决方案–可根据指标和QoS交付存储资源的软件产品，与硬件无关；
合作伙伴模式–厂商把SDS产品作为集成解决方案的一部分进行销售。
此外，还有一种新的存储分支正在发展当中，它就是容器附加存储，它使用容器技术来交付存储资源，通常以Kubernetes集群的形式存在，这是本文另外一部分要谈的内容。
软件定义存储已被业界广泛认可为标准的部署模型。甚至专有存储硬件厂商也在利用软件来提供新功能，云厂商提供虚拟设备或基于云的本地存储硬件服务。可以说，SDS在整个行业取得了巨大成功，除了支持大型机所需的高端存储，SDS都是最常见的开发和部署模式。
过去十年当中，处理器通过不断增加核数性能有了显著提高，DRAM内存的性能也有明显提升，总线速度提升也非常明显，同时，还出现了新的存储介质，SDS充分利用到了性能提升所带来的价值。
软件因为充分利用了硬件的优势而得到了发展，兜兜转转，硬件再次成为焦点。SmartNIC（智能网卡）出现了，SmartNIC可以将存储，网络和一些安全负载转移到专用硬件上，从而提高效率。SmartNIC的流行是因为公有云厂商想要进一步优化硬件架构，为的是降本增效。还有的厂商在用ARM来运行通用负载，还有的在使用带有ARM内核和FPGA的SmartNIC。
SmartNIC目前还处于早期阶段，我们可以拭目以待，看看这项技术能有多大的适用范围，是否会从大企业渗透到中小型企业。
SDS的主要发展趋势如下：
万物皆SDS：最明显的变化可能是，所有存储资源都是软件定义的。通用CPU功能强大，足以满足几乎所有企业的大多数I/O要求。当商用标准硬件可以满足90％的需求时，也就没有开发专有存储硬件的必要了。
更高度的集成度、更高的复杂度：无论是要缓解NAND的压力，还是想充分利用持久性内存，又或者是希望高效地用磁盘做归档，都需要软件需要能充分利用各种介质的特点，为此，就需要新的存储API。目前，包括以太网SSD，EBOF（Ethernet Bunch of Flash）以及MCAS等解决方案中已经开始用新的API，Linux系统也开始提供支持SMR硬盘的API来优化性能。存储厂商也会用新技术来开发新的存储产品。
更好的数据管理：大多数存储解决方案都是采用标准协议来访问数据，从长远来看，这一做法无法应对来自AI、数据分析、数据移动性以及数据安全方面的挑战。SDS需要通过扩展文件系统的功能和新的API来解决数据管理问题，比如，为文件系统添加数据保护和信息生命周期管理（IML）功能。
更好的数据移动性：当前最大的挑战之一就是如何管理跨地域和技术边界的数据访问的问题。如今，数据不是在本地就是在公有云中，数据孤岛现象明显，数据移动性有限，无法跨平台访问数据。市场上有一些解决数据移动性问题的解决方案，但这个市场上没有做得特别出色的厂商。SDS的发展应该关注如何解决数据移动性挑战。有观点认为，了解数据和应用程序的结构以及需求，具备数据感知能力（Data Awareness）之后才能解决数据移动性和数据管理方面的挑战。
总结：
SDS悄然改变了存储行业，几乎所有东西都是由软件定义的。未来成功的存储解决方案将是那些具有灵活消费模型，不依赖于硬件的，能很好地支持数据管理，能提供良好数据移动性的解决方案。与以往的市场格局一样，同样会有领导者和掉队者，同样还会有吃老本的企业，但市场份额会持续走低。未来十年的存储市场将以更快的速度发展。
容器附加存储
容器附加存储（Container-attached storage，以下简称“CAS”），CAS提供了数据向应用映射的新的范式，依赖于容器环境自身来提供持久存储。随着容器尤其是Kubernetes成为重要的应用程序交付平台，CAS是否会被广泛使用呢？
经过过去五年的发展，应用的容器化趋势越发明显，Kubernetes已经成了最主流的容器编排平台。当容器技术刚刚兴起时，业界普遍认为根本不需要持久存储，所需的持久性通过应用程序层的数据复制和镜像来就能实现。
但随着容器技术的发展，就连传统数据库软件和许多应用都进行了容器化，于是便对数据存储产生了一种新的需求：要求数据在某个容器的生命周期内持续存在。事实上，由于种种原因，想要数据持续存在是很难的。
首先，通过应用程序层实现的持久性会带来相当大的开销，需要在容器基础架构侧进行许多数据复制数据操作，而不是基于主机的I/O操作。
其次，许多应用平台可能没有数据复制功能，如果只依赖于映像副本来实现持久化，数据本身并不可靠。
第三，企业需要持久性存储来满足其在合规性和审计方面的要求，持久存储对于数据保护和安全控制至关重要。
最开始，持久存储是通过卷、LUN或者目录直接映射到容器上，但这种做法不仅效率低，而且缺乏灵活性，随着时间的推移，容器存储接口（Container Storage Interface，CSI）成了容器存储的标准方法，让存储厂商来开发将存储映射到容器的插件，容器生态系统通过一个进程来动态地请求存储，该进程屏蔽了存储平台的差异性。
容器附加存储（CAS）是一个软件平台，它使用容器生态系统来为容器提供存储。为了认识CAS是什么，我们可以做一个简单的类比，与HCI相似的是，每个服务器节点运行一个专用的虚拟机来提供存储，或者在运行着hypervisor的节点之上运行来构建横向扩展存储层。
在这两种模式中，每台服务器都有映射到虚拟机的本地存储，提供数据保护（副本或纠删码）和自管理功能。CAS的做法与HCI存储类似，它也使用容器集群中每个服务器上的本地存储资源，将存储作为一组容器化进程或微服务来交付。
与此前的HCI一样，CAS也取消了对于专有SAN的依赖，至少不依赖于当前常见的共享存储，如果容器平台是通过虚拟机来交付的，那么，每个VM都可以使用附加存储（无论最终是否由SAN提供），这里的存储被被CAS数据平面划分成不同的卷。
而在裸金属环境中，先由本地磁盘资源被抽象到容器卷中，然后，CAS软件维护有关物理存储容量如何分配的元数据和状态信息。由于元数据存储（通常是etcd或其他键/值集群）变得至关重要，所以，大多数厂商都是将元数据存储与运行应用程序的容器集群分开了。
CAS的主要发展趋势如下：
成熟度：最明显的变化可能是新特性和新功能的开发。CAS解决方案的成熟度跟现有成熟的存储解决方案还有很大差距，比如，在数据保护和其他数据服务方面还有很大欠缺。CAS也需要考虑利用持久内存之类的新介质。
数据移动性：当前的CAS解决方案尚未完全解决混合存储所需的数据移动性问题。例如，在虚拟机上运行的应用，需要通过基于容器的代码来对需要分析的数据打快照。如今，构建这种工作流都需要手工操作。
安全性：CAS解决方案还存在安全性方面的问题，与之前的FC或iSCSI一样，CAS的安全控制很弱或根本就没有安全控制，没有真正的验证或审核能力。这是由于这些协议的安全设计本身造成的。
性能管理：CAS解决方案需要更强的实时性能分析能力。一些存储厂商提供仪表盘来对卷进行可视化管理，并建议使用Prometheus服务监控系统来监控性能指标，从而提供与成熟共享存储类似的功能。
CAS面临的一些挑战的根源还在于CSI，CSI本质是一种模拟FC和iSCSI网络的存储连接功能，当前的设计方案甚至还有三十年前大型机存储管理子系统方案的影子。我们应该重新设计应用程序数据到容器的映射方式，比如，使用共享文件存储或者对象存储，而不只是块存储。
SmartNICs和离散型存储也是CAS可以发挥价值的领域。与物理存储只能固定在一台设备上不同的是，CAS可以通过网络动态分配存储，由于它可以访问存储在网络其他位置的持久数据，这将使构建动态裸金属存储集群变得更容易。此外，SmartNIC软件提供了一个安全模型，可用来验证数据访问权限。
总结：
CAS在本质上也是一种SDS，其长远目标似乎是要做容器生态系统的抽象和映射层，成功的关键主要取决于数据感知能力，而不仅仅是靠另一种连接协议。容器存储无疑是未来十年最需要继续关注的领域之一。
