대규모 AI 교육 및 추론을 위해 NVIDIA의 GB300 NVL72 시스템이 출시되면서{2}}데이터 센터 엔지니어링 논의에서 한 가지 질문이 계속 떠오르게 되었습니다.{3}}광학 상호 연결을 어떻게 시원하게 유지합니까? GB300 랙의 GPU, CPU 및 스위치 실리콘은 이미 수냉식이지만{5}}스위치와 NIC 간에 트래픽을 이동하는 플러그형 광 트랜시버는 다른 열 체계에 있습니다. 모듈 속도가 1.6T 및 3.2T로 올라가면서 열을 무시하기가 점점 더 어려워지고 있습니다.
최근 침수액체-냉각식 3.2T 광학 모듈이 대량 생산에 들어가 전 세계적으로 채택되었다는 주장이 돌았습니다.모두GB300 클러스터. 그 프레이밍은 기술이 실제로 어디에 있는지 과장합니다. 이 문서에서는 공개적으로 확인된 내용과 공급업체의 주장 또는 예측으로 남아 있는 내용을 분리하고, 액체{3}}냉각식 광학 모듈이 무엇인지 설명하고, NVIDIA가 공개한 공동 패키지 광학 장치 및 실리콘 포토닉스 로드맵에 어떻게 부합하는지 보여줍니다.-
액체{0}}냉각식 광학 모듈이란 무엇입니까?
플러그형 광 트랜시버는 스위치나 NIC의 전기 신호를 광섬유를 통한 전송을 위해 빛으로 변환하고 다시 그 반대로 변환합니다. 대부분의 열은 전기적 측면(- DSP, 레이저 드라이버 및 트랜스임피던스 증폭기(TIA))에서 발생합니다. 전통적으로 OSFP 또는 QSFP-DD 폼 팩터의 이러한 모듈은 공기 냉각에 의존합니다. 모듈 표면의 방열판과 팬 및 섀시 공기 흐름이 열을 방출합니다.
액체{0}}냉각식 광학 모듈은 공기 흐름을 액체 경로로 대체하거나 보완합니다. 실제로 오늘 논의된 대부분의 설계는냉각판 또는 마이크로채널 구조표준 OSFP-클래스 하우징에 포함되므로 냉각수는 랙 공기 흐름에 의존하지 않고 모듈에서 직접 열을 제거합니다. 이것은~ 아니다구성 요소가 유전체 유체에 잠기는 완전 침수 냉각과 동일합니다. 두 접근 방식 모두 더 넓은 시장에 존재하지만 특정 제품에 대한 주장을 평가할 때 차이점이 매우 중요합니다. 모듈 제품군을 비교하는 경우 다음의 기본 사항부터 시작하는 것이 도움이 됩니다.고속-트랜시버 모듈 및 해당 광학 부품.
AI 클러스터가 공기 냉각을 넘어서 광학 장치를 추진하는 이유
두 가지 추세가 충돌하고 있습니다. 모듈 속도가 증가하고 있으며-모듈당 전력도 함께 증가하고 있습니다. 업계 추정에 따르면 800G 모듈은 약 14~20W, 1.6T 클라이언트 광학 장치는 약 20~25W로 코히어런트 및 DCI 변형이 더 높습니다. OSFP 폼 팩터가 선택된 이유 중 하나는 이 엔벨로프에 대한 통합 방열판을 수용할 수 있기 때문입니다-. 그러나 레인 당 200G-광학 장치와 3.2T 모듈이 출시됨에 따라 열 예산은 더욱 엄격해졌습니다.
동시에 랙 전력도 상승하고 있습니다. GB300 NVL72 랙은 120~140kW 정도를 소비하며 주로 액체로 냉각됩니다. 대부분의 랙이 극도의 밀도로 실행되고 주변 시설이 액체 루프를 중심으로 설계되면 공랭식 구성 요소가 계산보다는 설계에서 어색한 부분이 될 수 있습니다. 이것이 액체{8}}냉각식 광학에 관심을 갖게 된 진정한 동기입니다. 광학이 갑자기 가장 큰 단일 열원이 되었다는 것이 아니라공냉식은 완전 액체-냉각식 초밀도 환경에서 정당화하기가 더 어렵습니다-. 이 밀도로 계획을 세우는 팀의 경우 광학을 전체 구성 요소의 한 요소로 생각하는 것이 좋습니다.데이터 센터 연결 전략고립된 것보다는.
공랭식-및 액체{1}}냉각식 광트랜시버
두 가지 접근 방식은 서로 다른 문제를 해결하고 서로 다른 절충안을 제공합니다.- 아래 표에는 현재의 실질적인 차이점이 요약되어 있습니다.
| 기인하다 | 공랭식-(현재 기준) | 액체-냉각식(신흥) |
|---|---|---|
| 냉각 경로 | 표면 방열판과 섀시 공기 흐름 | 냉각수를 운반하는 냉각판 또는 마이크로채널(또는 별도로 담금) |
| 성숙함 | 현재 GB300 참조 설계를 포함하여 OSFP 및 QSFP{0}}DD 배포 전체에 표준 | 일찍; 제한된 배포; 표준화된 것이 아니라 주로 공급업체가-주도합니다. |
| 강점 | 성숙하고 핫{0}}스왑 가능하며 광범위한 상호 운용성, 유동적 처리 없음 | 더 높은 열 제거율, 더 높은 밀도의 랙 지원, 더 낮은 모듈 온도, 잠재적인 전력 절감 |
| 절충- | 모듈당-매우 높은 전력으로 제한됩니다. 랙 공기 흐름으로 인해 제한됨 | 유체 밀봉 및 호환성, 커넥터 오염, 서비스 가능성의 복잡성 증가, 미성숙 표준 |
| 서비스 가능성 | 간단한 플러그 앤 플러그 | 빠른-연결 끊김 또는 유동적 관리가 필요합니다. 대규모로 검증되지 않은 |
올바른 선택은 랙 전력 밀도, 폼 팩터, 이미 수냉식으로 냉각된 시설의 양에 따라 달라집니다.{0}} 현재 배송되는 대부분의 배포에서는 800G 및 1.6T OSFP 모듈을 포함한 공랭식 플러그형 --이 기본값으로 유지됩니다.- 자세히 살펴보면800G OSFP 폼 팩터 및 열 설계기존 모듈을 공냉식 범위 내에서 유지하기 위해 이미 얼마나 많은 엔지니어링이 이루어졌는지 보여줍니다.-
이것이 GB300 NVL72 및 NVIDIA의 광학 로드맵과 어떤 관련이 있나요?
"액체 냉각식 광학 장치는 어디에나 있다"는 이야기를 받아들이기 전에 공개적으로 문서화된 두 가지 사실을 바탕으로 삼을 가치가 있습니다.
첫째,GB300 NVL72는 완전 액체-냉각식 랙-규모 시스템입니다.- 그러나 액체 루프는 GPU, Grace CPU, NVSwitch 트레이 및 ConnectX-8 네트워크 어댑터를 대상으로 합니다. ~ 안에OEM 레퍼런스 디자인 공개, OSFP 광학 모듈, 저장 및 전력{0}}분배 구성 요소는 다음과 같습니다.공냉식-, 랙 열의 약 90%는 액체에 의해 포착되고 나머지는 공기에 의해 포착됩니다. 즉, 배송 참조 아키텍처에서 플러그형 광학 장치 자체는 수냉식-이 아닙니다.
둘째, NVIDIA가 공개한 대규모 광전력 절감 전략은 다음과 같습니다.공동-광학 패키지(CPO), 침수식-냉각식 플러그형이 아닙니다. GTC 2025에서 회사는Spectrum-X 및 Quantum-X Photonics 스위치 발표실리콘 포토닉스를 스위치 ASIC에 직접 통합하여 기존 플러그형 트랜시버보다 전력 효율성은 3.5배 더 좋고 레이저는 4배 더 적습니다. Quantum-X Photonics 스위치 자체는 온패키지 실리콘 포토닉스에 액체 냉각을 사용합니다. 이 로드맵에서는 플러그형 광학 장치가 사라지지 않습니다. - Innolight, Coherent, Eoptolink 및 Fabrinet을 포함한 공급업체는 계속해서 이를 지원하지만 - NVIDIA가 추구하는 헤드라인 절전은 CPO에서 비롯됩니다. 업계가 광학을 패키지로 옮기는 이유에 대한 배경 정보는 다음을 참조하세요.공동 패키지 광학에 대한 기술 설명-유용한 입문서이며,실리콘 포토닉스와 이에 의존하는 케이블링.
따라서 정확한 그림은 계층화됩니다. GB300의 액체 냉각은 실제 랙의 중심입니다. CPO 및 실리콘 포토닉스는 NVIDIA가 명시한 광학 전력 전략입니다. "모든 GB300 클러스터에 채택된 침수형-수냉식 3.2T 플러그형 모듈"은~ 아니다현재 공개 기록이 지원하는 것입니다. 고밀도-상호 연결은 여전히 다음과 같은 기존의 구조화된 광섬유에 크게 의존하고 있습니다.AI 데이터 센터용 MPO 케이블링.
대담한 주장이 옳은 것은 무엇입니까?
"획기적" 프레임의 모든 것이 잘못된 것은 아닙니다. 문제는 확인된 추세와 확인되지 않은 세부 사항이 섞여 있다는 점이다. 다음은 실용적인 분할입니다.
합리적으로 잘 지원됨:
- AI 클러스터는 더 높은 상호 연결 대역폭, 전력 및 열 밀도를 촉진합니다.
- GB300 NVL72는 수냉식-랙-규모 시스템입니다.
- 공동 패키지 광학 및 실리콘 포토닉스는{0}}AI 네트워킹을 위한 NVIDIA의 주요 방향입니다.
- 액체-냉각식 플러그형 광학 장치(냉-플레이트 또는 마이크로채널 설계)는 진정한 신흥 R&D이자 초기{2}}제품 방향입니다.
의존하기 전에 이름이 지정되고 검증 가능한 출처가 필요한 주장:
- 이러한 광학 장치는 GPU보다 앞서 GB300 랙에서 "가장 큰 열 병목 현상"입니다.
- 85도 모듈 케이스 온도, 모듈당 38W, "랙 공간의 30%" 또는 "클러스터 전력의 20%"와 같은 구체적인 수치입니다.
- 특정 공급업체는 모든 Q3 2026 GB300 클러스터에 채택된 침수형 액체 냉각식 3.2T 플러그형 모듈을 대량 생산했습니다.-
- 22% 학습 처리량 증가 또는 20% 더 높은 GPU 밀도와 같은 명명된 고객 배포 결과 및 결과 수치입니다.-
- 2027년까지 새로운 AI-클러스터 광 모듈의 80%가 수냉식-이 될 것으로 예상됩니다.
조달 또는 용량 계획을 위해 이를 평가하는 경우 OEM 참조 설계, MSA 또는 표준 문서, 명시된 조건이 포함된 공급업체 데이터시트 또는 정의된 테스트 설정(모듈 유형, 전원, 공기 흐름 또는 냉각수 온도, 포트 밀도)을 사용한 측정 등 주요 소스를 요청하세요. 이러한 종류의 분류에 유용한 프레임은 분리입니다.아직 광학-모듈 로드맵에 있는 것 중 오늘 출시될 것.
미래 전망: 1.6T, 3.2T, CPO 및 Silicon Photonics
정확한 날짜가 아닌 경우에도 이동 방향은 분명합니다. . 1.6주로 OSFP에 대한 광학 --XD 폼 팩터 -가 증가하고 있으며, 2010년대 후반에 3.2T가 로드맵에 있고,-레인당 요금이 200G 이상으로 이동하고 있습니다. 각 단계는-모듈당 전력을 증가시키므로 업계에서는 3nm 및 2nm 노드의 저전력 DSP, 선형-드라이브 및 선형 플러그형 광학 장치, 함께 패키지된 광학 장치,-액체 냉각을 포함한 향상된 열 설계 등 여러 경로를 동시에 추구하고 있습니다.
이러한 경로는 상호 배타적이지 않고 보완적입니다. 주어진 배포를 지배하는 것은 단일 "획기적"이 아니라 도달 범위, 밀도, 서비스 가능성 및 비용 -에 따라 달라집니다. 액체-냉각식 광학 장치는 가장 밀도가 높은 랙에서 자리를 잡을 수 있지만 열 및 밀도 수학이 실제로 필요한 곳에 배포되는 여러 도구 중 하나입니다.
FAQ
액체{0}}냉각식 광학 모듈이 시판되나요?
OSFP-클래스 폼 팩터-의 액체-냉각식 플러그형 광학 장치- 일반적으로 냉각판 또는 마이크로채널 설계가 존재하고 시연되고 있지만 초기 단계이며 주류 선택은 아닙니다. 대부분의 배송 AI 패브릭은 여전히 공랭식-800G 및 1.6T 플러그형을 사용합니다.
GB300 클러스터에는 수냉식-광학 장치가 필요합니까?
아니요. GB300 NVL72 랙은 전체적으로 액체{3}}냉각식이지만 게시된 참조 디자인은 액체가 아닌 공기로 OSFP 광학 모듈을 냉각합니다. GPU, CPU, NVSwitch 및 NIC는 수냉식-부품입니다.
플러그형 광학 장치와 CPO의 차이점은 무엇입니까?
플러그형 트랜시버는 스위치나 NIC 포트에 삽입하는 별도의 핫스왑 가능한 모듈입니다.{0}} 공동-패키지 광학은 광학 엔진을 스위치 칩과 동일한 패키지에 통합하여 전기 경로를 단축하여 전력 및 지연 시간을 단축하고 - 서비스 가능성을 희생하고 다양한(종종 액체{4}}지원) 냉각을 사용합니다.
AI 클러스터에서 광학 모듈이 과열되는 이유는 무엇입니까?
데이터 전송률이 높을수록 DSP, 드라이버 및 TIA에서 더 많은 신호 처리가 필요하며, 이는-모듈당 전력을 증가시킵니다. 많은 고전력 모듈을 조밀하고 높은 전력량의 랙에 담으면 국지적 열 부하는 공기 냉각이 편안하게 처리할 수 있는 수준을 초과할 수 있습니다.
침수 냉각은 액체-냉각식 광학 모듈과 동일합니까?
반드시 그런 것은 아닙니다. 침수는 구성 요소를 유전체 유체에 담그는 반면, 오늘날 논의된 대부분의 "액체{1}}냉각식 광학 모듈" 설계는 냉각판 또는 냉각수 운반 마이크로채널을 사용합니다. 이는 신뢰성, 밀봉 및 서비스 용이성을 고려한 서로 다른 접근 방식입니다.
주요 시사점
- 광학 상호 연결의 열 관리는 밀도가 높은 수냉식-AI 랙의 실제 설계 제약이 되고 있습니다.
- 액체-냉각식 플러그형 광학 장치는 새로운 옵션으로 -침수식보다는 주로 냉각-플레이트 또는 마이크로 채널이 사용되지만-아직 주류는 아닙니다.
- GB300 NVL72는 수냉식-이지만 OSFP 광학 모듈은 참조 설계에서 공냉식-입니다.
- NVIDIA가 공개한 광학 분야 전력 전략은{0}}공동 패키징된 실리콘 포토닉스입니다.
- 특정 수치와 "이미 모든 곳에 배포되었습니다"라는 주장은 기본 소스가 뒷받침할 때까지 주의해서 다루십시오.