엔비디아 커넥트X

때로는 빨리 가고 싶을 때도 있습니다. 우리는 최근 PCIe Gen5 x16 슬롯이 처리할 수 있는 새로운 기능이라는 맥락에서 400Gbps 네트워킹을 논의해 왔습니다. 오늘은 NDR 400Gbps Infiniband/400GbE를 사용하여 설정하는 방법을 살펴보겠습니다.

PNY에게 특별히 감사드립니다. 1년 전에는 이 사실을 몰랐지만 PNY는 NVIDIA 워크스테이션 GPU뿐만 아니라 네트워킹 구성 요소도 판매합니다. 우리는 400GbE 스위치를 개발 중이었고 논의 중에 해당 프로세스의 일부로 이 카드를 검토해야 한다는 의견이 나왔습니다. 충분히 쉬워 보일 수도 있지만 100GbE 네트워킹에서 400GbE로의 큰 도약이며 MCX75310AAS-NEAT 카드는 고급 네트워킹 장비를 배포하려는 사람들이 많기 때문에 현재 인기 있는 상품입니다.

ConnectX-7(MCX75310AAS-NEAT)은 PCIe Gen5 x16 로우 프로파일 카드입니다. 전체 높이 브래킷으로 사진을 찍었는데 상자에 로우 프로파일 브래킷이 들어 있습니다.

사람들이 주목해야 할 것은 냉각 솔루션의 크기입니다. 얼마나 초기 단계인지 이해하기 위해 ConnectX-7의 전원 사양을 검색했지만 찾을 수 없었습니다. 우리는 공식 채널을 통해 NVIDIA에 사양을 문의했습니다. NVIDIA가 현재 그것이 무엇인지 확신할 수 없는 것처럼 보이기 때문에 우리는 이 기사를 없이 게시하고 있습니다. NVIDIA가 데이터 시트에 이러한 카드의 전력 사양을 게시하지 않는다는 것은 약간 이상합니다.

다음은 재미있는 방열판 백플레이트가 있는 카드 뒷면입니다.

다음은 PCIe Gen5 x16 커넥터에서 바라본 카드의 측면도입니다.

카드 상단에서 바라본 또 다른 모습입니다.

다음은 대부분의 서버에서 공기 흐름이 이동할 것으로 예상되는 방향에서 본 모습입니다.

여기서 간략하게 설명하면 400Gbps 속도로 실행되는 로우 프로파일 단일 포트 카드입니다. 이는 엄청난 양의 대역폭입니다.

이와 같은 카드의 경우 가장 중요한 측면 중 하나는 속도를 활용할 수 있는 시스템에 카드를 설치하는 것입니다.

운 좋게도 우리는 Supermicro SYS-111C-NR 1U 및 Supermicro SYS-221H-TNR 2U 서버에 이를 설치했고 문제 없이 작동했습니다.

SYS-111C-NR은 시스템을 설정할 때 소켓 간을 피할 필요가 없었기 때문에 단일 소켓 노드를 높이 평가하게 만들었습니다. 10/40Gbps 속도, 심지어 25/50Gbps 속도에서도 사람들은 소켓 간 링크 통과를 성능 문제로 논의하는 것을 듣습니다. 100GbE에서는 순회를 피하기 위해 CPU당 하나의 네트워크 어댑터를 갖는 것이 더욱 심각해지고 매우 일반적이 되었습니다. 400GbE 속도를 사용하면 영향이 훨씬 더 심해집니다. 단일 400GbE 카드가 있는 듀얼 소켓 서버를 사용하는 경우 각 CPU에 직접 연결할 수 있는 다중 호스트 어댑터를 살펴보는 것이 좋습니다.

카드가 설치되면 다음 과제가 주어졌습니다. 카드는 OSFP 케이지를 사용합니다. 당사의 400GbE 스위치는 QSFP-DD를 사용합니다.

두 표준은 전력 수준과 물리적 설계 측면에서 약간 다릅니다. QSFP-DD를 OSFP에 적용할 수 있지만 그 반대는 불가능합니다. OSFP 광학 장치나 DAC를 본 적이 없다면 자체 열 관리 솔루션이 있을 것입니다. 상단의 QSFP-DD는 QSFP-DD 케이지의 방열판을 사용합니다. OSFP에는 연구실의 OSFP DAC 및 광학 장치에 있는 냉각 솔루션이 포함되는 경우가 많습니다.

그로 인해 우리는 며칠 동안 공황 상태에 빠졌습니다. 500달러짜리 Amphen OSFP DAC와 OSFP - QSFP-DD DAC는 방열판 냉각 솔루션을 활용했습니다. 우리는 연결을 위해 모든 것을 연구실로 보냈지만 DAC의 직접 냉각으로 인해 DAC의 OSFP 끝이 ConnectX-7 카드의 OSFP 포트에 맞지 않는다는 메모를 받았습니다.

NVIDIA가 OSFP를 사용하는 이유는 더 높은 전력 수준 때문일 가능성이 높습니다. OSFP는 15W 광학을 허용하고 QSFP-DD는 12W를 허용합니다. 채택 주기 초기에 더 높은 전력 한도를 사용하면 조기 채택이 더 쉬워지는데, 이는 24W CFP8 모듈과 같은 것이 있는 이유 중 하나입니다. 반면에 우리는 이미 FS 400Gbase-SR8 400GbE QSFP-DD 광학 제품을 살펴보았으므로 시장이 움직이고 있습니다.

몇 번의 통화 후에 우리는 작동할 수 있는 케이블을 갖게 되었습니다. 현재 ConnectX-7 OSFP 어댑터를 사용하고 있거나 5년 후 저렴한 중고 장비가 되어 이 기사를 읽고 있다면 ConnectX-7 어댑터에 연결하는 OSFP 끝의 방열판 크기에 유의해야 합니다. 7. 모든 것이 연결되고 작동하는 QSFP/QSFP-DD에 익숙하다면 커넥터 크기와 같은 어리석은 문제에 직면하는 더 큰 어려움이 있습니다. 반면, 솔루션 제공업체라면 이는 전문 서비스 지원을 받을 수 있는 기회입니다. NVIDIA 및 PNY와 같은 리셀러도 더 쉬운 경로였던 LinkX 케이블을 판매합니다. 그것은 배운 큰 교훈입니다.