大模型训练为什么仅仅用SXM卡

此篇篇名为今日头条首发篇名，其他账号如出现相同篇名，仅有为木头

早先，一个中心英伟达的PCIe坎和SXM坎，有了许多讨论，特别是关于PCIe坎在大型基本概念培训中会的实用性。为了深入理解这个关键问题，我编出了一些资料，并将其作为研修笔记透过给大家。

一、PCIe坎：更快周围组件网络连接

首先，让我们理解一下PCIe，它是一种高速串行通讯的网络标准。串行通讯意味着每次以太网一个位描述符，并连续完再加这个过程，就像食堂里大家搭车一个一个打饭一样。

在台式电脑中会，我们通常可以找到PCIeUSB，这些USB用于抽出显坎、网坎等芯片设备，而相应的芯片坎就被称为PCIe坎。这是一种广泛用到的相网络连接接方式为。不同的PCIe完整版用到不同比例的相网络连接接线来以太网数据，相网络连接接线越多，数据传输就越大。例如，“x4”透露4个相网络连接接线，“x16”透露16个相网络连接接线。

英伟达的A100显坎有两个完整版，其中会PCIe完整版反对PCIe 4.0 x16，其以太网反应速度为32GB/s。

PCIe坎的时是是相网络连接接GPU和CPU，但反应速度相对来说较慢，只有64GB/s，而且两个CPU间无法如此一来网络连接，这在多GPU系统对中会会引发关键问题。

为了应对这个关键问题，英伟达在2018年发布了P100GPU，同时引入了NVLink高速的网络新科技，可以借助多张GPU间的高速相网络连接接。这两项的NVLink已发展到第四代，最高反应速度最重900GB/s，而A100用到的是第三代，反应速度为600GB/s，比起原有的PCIe坎快了10倍。

因此，通过在PCIe坎间添加NVLink，可以改进其机动性，但仍然存在一个受到限制，即只能如此一来相网络连接接两张GPU，不能借助多张GPU的网络连接。

二、SXM坎：可扩展到模块

以前，让我们改向SXM坎，这是一种高数据传输端口应对方案，用于相网络连接接多张英伟达GPU。与PCIe坎相比，SXM坎的分野在于，SXM坎的相网络连接接方式为是通过多对磁铁如此一来值得注意面板上，而不是USB上。

SXM坎不具明显的竞争者，首先，它可以相网络连接接多张坎，因此通常用于DGX系统对，这是一种封装良好的服务器端，可以将20台或更多的DGX组装再加DGXPOD，以构建一个高机动性的数据中会心。

此外，SXM坎不须内部电源，引入双USB坎设计，在以太网数据的同时供电，这减低了冷却灵活性，允许GPU在更高的热效能下运行，并减低了维护再加本。

以A100为例，SXM完整版的效能反对400努，而PCIe完整版的效能则为300努。这意味着SXM坎在机动性和效能方面不具显著的竞争者。

论述

综上所述，PCIe坎和SXM坎间的主要分野在于以太网反应速度。对于大型基本概念培训来说，处置的花销很大，因此以太网反应速度颇为最重要。

以A100为例，PCIe坎的以太网反应速度只有64GB/s，而SXM坎通过用到NVLink新科技，最高最重600GB/s，是前者的10倍。当然，在只有两张坎时，通过PCIe坎的NVLink也可以借助多种不同的机动性。然而，在多张坎的网络时，SXM坎的竞争者显而易见，其高速网络连接机动性在处置大型基本概念时颇为重要，甚至有些完整版的SXM坎反应速度更高，达到了900GB/s。

因此，为了完再加大型基本概念培训，SXM坎是更为合适的同样，而用到PCIe坎有可能引发机动性经年累月。