GB200创新使用铜缆线背板互联引关注，高速铜互联在AI柜内场景已具有成熟经验。 英伟达GB200 NVL72通过NVLINK5将72个B200组成一个”超级GPU”。英伟达在2024GTC大会上发布GB200超级芯片以及NVL72机柜，通过高速铜缆互联形如一颗超级GPU。具体来看，每个NVL72机柜由18个compute tray和9个NVLINK Switch tray组成，每个compute tray包括2颗GB200超级芯片，每颗GB200超级芯片由2颗B200 GPU和一颗Grace CPU通过NVLINK C2C (单向450GB/s)连接而成。而每台NVLINK Switch则由两颗NVLink Switch4芯片组成，交换带宽为28.8Tb/s*2。每颗B200芯片通过NVLink5共900GB/s单向带宽(共36*224G SERDES)分别连接到18颗NVLink Switch4，而高速铜缆互联主要应用的场景正是B200芯片与NVLink Switch的互联。此外按月配资股票配资，每颗B200均配置了CX7或CX8网卡，通过400Gb或800Gb IB网络scaleout互联，对应每台compute tray 2个OSFP 800G或1.6T端口。
GB200 NVL72系统架构
NVL72的高速铜连接架构设计：NVL72使用一层NVSwitch交换架构连接了72颗B200，这主要通过背板连接器到线背板再到交换芯片的跳线完成。根据Semianalysis的分析，每个BlackwellGPU都连接到一个安费诺Paladin HD 224G连接器，每个连接器有72个差分对(对应每颗B200 900GB/s*8*2的NVLINK收发带宽)，连接到背板Paladin连接器后接下来使用了SkewClearEXD Gen2电缆背板连接到Switch tray的Paladin HD背板连接器(每个连接器有144个差分对)，再通过OverPass跳线电缆连接到NVSwitch芯片。
NVL72 overpass和背板连接示意图
因此实际上GB200 NVL72使用了定制的高密度背板连接器和线背板模组来解决72颗B200与18颗NVLink Switch的机柜内互联，而为了解Switch tray上PCB密集高频信号的串扰问题，还使用了OverPass近芯片跳线连接到背板。
NVL72机柜背部使用了密集的线背板互联
NVL72 NVSwitch Tray使用了OverPass跳线（图中蓝色线）
NVL36*2的高速铜连接架构设计。英伟达对于NVL36*2的定位是满足某些机柜功率、风冷散热有限制条件的客户需求，NVL36机柜的最大区别一是同样配置了9个Switch tray(18颗NVLink Switch4芯片)，相当于交换容量翻倍，二是是使用了可扩展的NVLINK Switch tray，两台NVL36机柜之间通过短距ACC铜缆互联。对于线背板和交换芯片跳线，NVL36采用了与NVL72相同的设计，相应的由于GPU数量减半，线背板和OverPass使用的电缆数量也近乎减半。但由于要实现两台NVL36的互联，每套NVL36*2系统将需要额外的162根1.6T ACC电缆互联，而为了将NVLINK Switch一半的带宽连接到前面板，英伟达还使用了安费诺的Densilink跳线产品，因此NVL36*2整体上跳线的用量是较NVL72基本相当的。
GB200 NVL36互联网络架构
两个NVL36机柜通过柜外线ACC连接
除英伟达外，高速铜互联在AI短距离场景已有成熟经验，dojo/谷歌等均使用定制铜缆或DAC&AEC作为短距互联方案。以谷歌为例，其TPUv4服务器设计TPU和CPU板卡是分开的，使用PCIE外部线进行连接而在TPU互联域，谷歌使用的是3D torus网络架构，每颗TPUv4具有6*50GB/s ICI带宽，其中2条ICI链路在tray内通过PCB互联，3条链路使用400G DAC铜缆在机柜内与其他TPU tray互联，剩余1条链路通过400G FR4光模块连接OCS光交换机。特斯拉自研芯片dojo机柜的设计则更加独树一帜，其基本芯片单元为D1芯片，25个D1芯片组成一个Training Tile，12个Training Tile组成一个服务器机柜，算力达109PFlops。为实现Training Tile之间的高速互联，特斯拉定制了通信协议，每片Tile的每一边通过10个900GB/s定制连接器和线缆组件实现9TB/s的超大带宽。
谷歌在TPUv4机柜中使用铜缆进行ICI机柜内互联（图中红色部分）
Dojo training tile之间通信采用定制连接器和组件实现每边9TB/s的高速率
铜缆是AI高速高密度场景下当前通信性价比最优解。聚焦铜互联:铜互联主要应用于芯片间互联及柜内互联等等短距离场景，传输距离通常在10米及以下。铜互连指的是主要使用铜作为材料的电信号通信方式(因其导电导热性能好，可塑性强)，因此其涵义其实包括了芯片内互联走线(在芯片制造时实现)、芯片间(chiplet)走线(通常在基板上完成)、模组间走线(在PCB上完成)、PCB板间通信(一般通过背板、连接器或铜缆完成)以及机框之间通信(一般通过铜缆或光模块)。
铜互联应用场景示意图
铜连接不同场景的典型距离
在224Gbps速率下，cable (铜缆)是SERDES LR (米级)最建议的电信号通信方式。随传输速率增加，传统PCB信号衰减程度快速提升，采用增加层数和更换新型材料则会使成本明显提升，因此cable传输代替PCB成为有效解决方案。如图所示，横轴代表信号频率，纵轴代表信号强度(dB负值越大衰减越严重)，PCB信号(红色、粉色、黄色)的下降斜率较cable (绿色、蓝色)陡峭的多。根据OIF对SERDES LR的测试数据，在224G速率下，cable可传输1米，是建议的通信手段。
不同速率的SERDES-LR在cable的传输距离
PCB的高频衰减曲线较cable陡峭许多
Al Scaleup需要怎样的通信技术?综合考虑距离、功耗、密度、串扰、成本。Scaleup指的是使用统一物理地址空间将多GPU组成一个“超级GPU”节点，随着大模型参数的快速提升，扩大Scaleup域有助于张量并行效率更高，并且简化了AI算法编程。NVLINK是英伟达GPU实现Scaleup的主要通信方式，其通过NVLINK Switch实现节点内高速交换。NVLINK Switch 3最高连接8枚GPU，而NVLINK Switch 4最多可扩展576个，GB200 NVL72、NVL36*2的Scaleup域为72个GPU。在8颗GPU互联时，NVLINK主要通过PCB进行intra-board通信，距离通常在1米内;而72颗GPU互联达到了intra-rack、相邻rack通信，距离通常在1米至5米，因此距离成为GB200选择铜缆互联的最主要因素。除此之外，与光通信(AOC、CPO)对比，根据TheNextPlatform报告，铜缆的cost成本仅为AOC的十分之一，虽然CPO在功耗、密度、距离都更有潜在优势，但当前产业链还不成熟，其对客户机房改造、服务器设计等“潜在成本”是要高出不少的。
不同通信手段功耗、成本、密度、距离对比
不同距离的通信场景适用的通信手段
铜缆互联是NVL72&36机柜内、机柜间短距互联的性价比最佳方案。GB200机柜compute tray与Switch tray之间的传输距离约为0.5-1米，英伟达使用了定制化的线背板模组cartridge结合高密度背板连接器来实现背板的互联，较PCB可行度更高、较光模块成本更低。而在Switch tray交换芯片到背板、前面板英伟达则使用了安费诺的OverPass、Densilink近芯片跳线方案，以避免PCB可能出现的高频信号串扰、信号衰减过快问题。在NVL36相邻机柜间，英伟达或选择有源铜缆ACC方案，较光模块成本更低、功耗更低。
预计2025年高速铜缆新增市场近60亿美元GB200高速铜缆市场分析：预计2025年高速铜缆新增市场近60亿美元。 目前市场主要使用两种方式测算NVL72内部线单机柜价值量，且可以相互验证。
一是根据英伟达在GTC2024上的介绍，NVL72使用铜缆互联较光模块节省了6倍的成本。 首先计算采用光模块需要的采购成本:
B200 单 GPU NVLINK I0 带宽为1800GB/s双向，即900GB/s(相当于7200Gb/s)单向，如果采用800Gb/s多模光模块需要9*2=18只(收发各一个连接compute tray和Switch tray)，NVL72需要72*18=1296只光模块。根据帕米尔研究的报告，800G多模当前的市场ASP在430美金左右，故NVL72需要的800G光模块成本为55.7万美元。 与此对比，铜缆互联的成本预计在六分之一的9.3万美元左右。
二是根据高速铜缆的量价关系测算1)单颗B200芯片的单向IO带宽为7200Gb/s，如果采用200Gb/s的高速差分铜线收发共需要72根，故NVL72需要5184根高速差分铜线。
2)该高速铜线需要从compute tray的背板连接到Switch tray的背板(平均距离0.5-1.5米)，再从Switch tray背板连接到NVLINK Switch芯片(平均距离0.5米)，因此若计算端到端单根铜线的平均长度在1.5米左右。NVL72需要约7800米的铜线。
3) 价格方面，Lightcounting在《High speed cables, linear drive and co-packaged optics》报告中给出的1.6T DAC和AEC 2025年的ASP分别为259美金和405美金，假设1.6T ACC 的ASP折中为330美金。假设1.6T ACC平均长度1.5米，由于单根ACC包括了16根200Gb/s单通道裸线，单根200Gb/s铜线每米的价格约为13.8美金。
4)以上铜线价格为组件层面，包括了连接器、结构件以及毛利润，我们假设内部线成本结构与之类似，可得到NVL72机柜内部线组件的价值约10.7万美金。且若根据距离来判断，其中背板和跳线的铜线价值量约2:1关系。
对于NVL36机柜，其包括了内部线和相邻机柜连接的1.6T ACC。主要变化为compute tray数量减半，但Switch tray数量相等。按照以上量价测算法，得到NVL36内部线铜缆长度为5184米左右，价值量约7.2万美金。
新车的侧面增加了黑色拉花以及碳纤维侧裙，并且提供全新的轮圈设计。车尾主要调整了下包围，扩散器同样升级为碳纤维材质，与车头形成了不错的呼应，并且双边共四出的尾排也换装了钛合金与炭纤维的合成材质，声浪将变得更加清脆直接。
外部线ACC部分。NLV36 Switch tray包括两颗28.8Tb/s交换容量的芯片，一半带宽用于相邻机柜连接，故Switch tray前面板的IO带宽为28.8Tb/s，如果采用1.6T端口，需要18个，即2*NVL36系统需要162条1.6T ACC铜缆，其价值量约为5.3万美金。
此外，仍有短距scaleout网络使用到DAC&ACC。根据Semianalysis的测算，ACC、DAC还会用于InfiniBand网络compute tray与柜顶交换机的互联以及带外管理网络compute tray与管理交换机的互联，在NVL36*2 CX-8配置下，这些价值量合计1.02万美元。
总结：根据以上测算按月配资股票配资，NVL72机柜的高速铜缆合计11.7万美金，而NVL36机柜的价值合计10.4万美金。根据Trendforce，2025年GB200机柜合并出货有望达到6万台，其中NVL36可能达到5万台。以此为核心假设根据以上价值量测算，得到2025年GB200机柜的铜缆市场将达到约64亿美元。
tray背板Switch英伟达铜缆发布于：山东省声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。文章为作者独立观点，不代表股票线上配资平台_线上配资网_在线股票配资网观点
相关文章
