服务器是一种高性能计算机，作为网络的节点，存储、处理网络上80%的数据、信息，因此也被称为网络的灵魂。普通服务器是以CPU为计算能力的提供者，采用串行架构，擅长逻辑计算和浮点计算。
ChatGPT主要进行矩阵向量计算，AI服务器处理效率更高。从ChatGPT模型结构来看，基于Transformer架构，ChatGPT模型采用注意力机制进行文本单词权重赋值，并向前馈神经网络输出数值结果，这一过程需要进行大量向量及张量运算。
对于大多数企业来说，大多数时候，服务器上的10 Gb/秒甚至25 Gb/秒端口都可以，而PC的10 Gb/秒端口就足够了。令人疯狂的是，10 Gb/秒和更慢的以太网交换设备在世界上的销量仍然如此之高，这就是原因。
高速增长的数据量，推动了更多加速器和计算架构的布局。在此背景下，通过数据接口技术的不断演进来满足上述应用对新性能和容量的需求，正在成为核心的关键技术。
在日常运营过程中，用户交互带来的数据处理需求同样也是一笔不小的算力开支。考虑到ChatGPT面向全球大众用户，用的人越多，带宽消耗越大，服务器成本只会更高。
在端边层级，得益于边缘AI芯片与模组的能力提升，越来越多的摄像机、DVR、NVR获得了一定程度的智能化，可以对数据进行包括人脸识别、视频结构化、图谱分析等处理。
