英伟达Scale-in技术解析

一位英伟达发言人说我需要了解Scale-in。好吧，我去了英伟达的网站，搜索了一下。结果：一无所获；搜索结果排在第一位的竟然是无关的“autoscaling”。

回到发言人那里，他给我推荐了一个 技术博客，我便仔细阅读起来。博客讨论了纵向扩展（Scale-Up）和横向扩展（Scale-Out），这些都是我们熟知的概念。纵向扩展是指在现有空间内增加资源，而横向扩展则是指增加空间。但博客随后又提到了横向缩放（Scale-Across）和Scale-In。并用一张图表将它们置于数据中心架构图中。

标题写道：“Scale-Up, Scale-Out, and Scale-Across expand compute connectivity, and Scale-In connects, secures, provisions, and observes the infrastructure surrounding the compute domain”

Scale Across究竟是什么 ？图表暗示（尽管语焉不详）它指的是跨数据中心域或站点的横向扩展。另一篇博客文章对此进行了讨论，称其为“一种新型的 AI 计算架构连接方式，可以被视为一个与现有纵向扩展和横向扩展连接方式正交的新维度”，从而“将多个规模和距离各异的数据中心统一为一个大型 AI 工厂”。

明白了。它基本上就是扩展扩展增强版，只不过扩展的是数据中心而不是机箱或机架。

接下来是Scale-in；据称，它将南北向网络演进为一个协调、加速的基础设施域，用于数据访问、安全和运维。这听起来并不完全等同于规模缩减；规模缩减通常意味着增加或减少某些实体，例如计算、网络或存储容量。

该实体是南北向网络，即GPU服务器节点与支持的内部基础设施或外部世界之间传输流量的链路。与之相对，东西向流量则是GPU之间、节点之间的链路。

该博客告诉我们，对于 Scale-In 而言，“Nvidia BlueField-4、Nvidia DOCA 和 Nvidia Spectrum-X 以太网加速了围绕 AI 计算的访问、安全、数据传输和基础设施运营。”

BlueField-4 (BF4) 是数据处理单元 (DPU) 或智能网卡，位于例如 GPU 节点和存储阵列驱动器机箱之间的链路两端。Spectrum-X 是 BF4 之间的以太网链路。DOCA（片上数据中心架构）是英伟达用于编程和运行 BF4 的软件平台。因此，如果我们讨论的是向上或向下扩展，那么扩展单位就是通过 Spectrum-X 连接并运行 DOCA 软件的一对 BF4。

但是，在基于英伟达的机架中向外部存储添加更多 BF4 对，这当然属于纵向扩展（Scale-Up）。如果他们将多个英伟达机架连接到单个阵列，甚至连接到阵列中不同的存储驱动器机箱， 那么从阵列的角度来看，这仍然是纵向扩展。为什么我们需要一个新的术语，尤其是在这种情况下，这个术语似乎并不涉及扩展？

我们的英伟达博客指出，对于智能体人工智能而言，“基础设施必须加速发展，并作为人工智能工厂的一部分进行协同设计。安全性、多租户网络、数据和存储访问以及基础设施运维不能仅仅依赖于运行在通用主机 CPU 上的软件，也不能作为独立管理的层级运行。这些功能必须作为一个统一的基础设施域协同工作，使运维人员能够对整个人工智能工厂的访问、数据移动、安全性、资源配置和可观测性进行一致的控制。”

“Scale-In 通过将南北向访问演变为人工智能工厂中统一、加速的基础设施领域来满足这些要求。”

我们是从吹毛求疵的角度来看待这个问题的，这并非我们通常意义上的扩展。正如博客所说，这是一个“覆盖整个人工智能工厂的统一、加速的基础设施域”。原本的GPU服务器到存储阵列的连接方式，两侧的计算主机使用普通网卡来管理流量，现在已被主机流量管理任务卸载到BF4服务器所取代。这并非我们通常意义上的扩展，而是主机卸载。

市场营销人员又出招了，他们先是用“横向扩展”（Scale-Across）削弱了“扩展 ”的概念，现在又想出了一个更巧妙的办法，让“扩展”这个词变得更加毫无意义。干得漂亮，英伟达，你们又给语言上的误解添了一笔。