지식

데이터 센터 분할은 컴퓨팅, 메모리, 스토리지 및 네트워킹을 고정된 서버 경계 내에 고정하는 대신 독립적이고 풀링된 리소스로 분리합니다. 이러한 분리는 새로운 아키텍처 종속성을 생성합니다. 해당 풀 간의 상호 연결 레이어는 전체 시스템이 하나의 조정된 패브릭으로 작동할 수 있도록 충분한 대역폭, 낮은 대기 시간 및 충분한 도달 범위를 제공해야 합니다. 광 상호 연결은 특히 구리 링크가 거리, 전력 및 신호 무결성에 대한 물리적 한계에 도달하는 경우 해당 역할을 점점 더 많이 수행하는 전송 기술입니다.-

이 문서에서는 광학 상호 연결이 분리된 아키텍처를 지원하는 방법, 구리보다 성능이 뛰어난 부분, CXL 및 함께 패키지된 광학 장치와 어떻게 관련되는지, 채택하는 것이 실용적인 경우에 대해 설명합니다.

데이터 센터 분리란 무엇입니까?

기존의 서버{0} 중심 모델에서는 CPU, 메모리, 스토리지, 네트워킹이 단일 섀시 내에 번들로 포함되어 있습니다. 서버를 구입하면 작업 부하에 해당 비율이 필요한지 여부에 관계없이 4가지 - 모두의 고정 비율을 얻게 됩니다. 데이터 센터를 분리하면 묶음이 분리됩니다. 각 리소스 유형은 자체 풀로 구성되며 워크로드는 공유 패브릭을 통해 각 풀에서 필요한 것만 가져옵니다.

최신 워크로드는 균형이 잘 잡혀 있지 않기 때문에 이는 중요합니다. 대규모 언어 모델 훈련 작업은 로컬 저장소를 거의 건드리지 않으면서 GPU 메모리와 동{1}}서 대역폭을 포화시킬 수 있습니다. 실시간-분석 파이프라인에는 대규모 메모리 용량이 필요할 수 있지만 컴퓨팅은 보통 정도만 필요할 수 있습니다. 서버-중심 설계에서는 이러한 불일치로 인해 리소스 좌초가 발생합니다. 즉, 소진된 메모리 또는 워크로드에서 사용하지 않는 스토리지 용량과 함께 유휴 CPU 주기가 발생합니다.

그만큼오픈 컴퓨팅 프로젝트(OCP)는 2010년대 중반부터 분리된 랙 설계를 주도해 왔으며 Meta 및 Microsoft와 같은 하이퍼스케일러는 분산된 스토리지와 네트워킹을 대규모로 배포했습니다. 출현컴퓨트 익스프레스 링크(CXL)그 비전을 메모리 분리로 확장하여 아키텍처를 더욱 다양한 환경에서 실용적으로 만들었습니다.

기존 서버{0}}중심 설계가 벽에 부딪히는 이유

두 가지 요인이 인프라 팀을 분리하도록 압력을 가하고 있습니다. 활용 압력과 대역폭 압력입니다.

활용 측면에서 고정 서버 번들은 규모에 따라 낭비를 발생시킵니다. 업계 조사에 따르면 메모리가 전체 서버 비용의 거의 절반을 차지함에도 불구하고 기존 서버의 DRAM 용량 중 약 25%가 평균적으로 사용되지 않는 것으로 나타났습니다. 수천 개의 노드에 걸쳐 증가된 이러한 고립된 용량은 상당한 자본 및 전력 부담을 나타냅니다.

대역폭 측면에서 AI 훈련 클러스터와 고성능 분석은 기존의 북-남쪽 웹-제공 로드와 크게 다른 트래픽 패턴을 생성합니다. 이러한 워크로드는 수백 또는 수천 개의 엔드포인트에 걸쳐 GPU-에서-GPU로, 가속기에서{8}}메모리로, 노드에서{10}}간-노드-로의 과도한 동쪽-트래픽을 생성합니다. 고정 상자 사이에 짧은 구리선이 있는 기존의 서버{14} 중심 토폴로지는 해당 패턴에 맞게 설계되지 않았습니다. 링크 속도가 400G에서 800G 이상으로 증가함에 따라 구리의 전기적 한계를 해결하기가 더 어려워졌습니다.

분리된 데이터 센터에서 광 상호 연결은 어떻게 작동합니까?

컴퓨팅, 메모리, 가속기 리소스가 별도의 풀에 배치되면 해당 풀을 연결하는 패브릭이 성능에 중요한-계층이 됩니다. 광학 상호 연결은 전기 신호를 빛으로 변환하고 데이터를 전송하여 해당 레이어에 기능을 제공합니다.단일-모드또는다중모드 광섬유, 그리고 수신단에서 다시 전기로 변환됩니다.

광학 전송의 물리학은 이 작업에 구조적 이점을 제공합니다. 광섬유의 광 신호는 구리의 전기 신호보다 미터당 감쇠가 훨씬 적습니다. 이는 구리가 더 빠른 속도에서 요구하는 전력-을 많이 소모하는 신호 조절(리타이머, DSP, 이퀄라이저) 없이 광 링크가 장거리에 걸쳐 신호 품질을 유지할 수 있음을 의미합니다. 800Gbps에서 패시브 구리는 최대 약 3~5미터까지 실용적입니다. 활성 전기 케이블은 이를 약 7미터까지 확장합니다. 광 링크는 동일한 데이터 속도로 일반적으로 100미터에서 2킬로미터에 걸쳐 있으며, 코히어런트 광 링크는 수십 킬로미터에 도달할 수 있습니다.

분리된 아키텍처에서는 이러한 도달 이점이 추상적이지 않습니다. 통합 시스템처럼 작동하면서 리소스 풀이 얼마나 멀리 떨어져 있을 수 있는지 직접 결정합니다. 구체적으로:

• 랙 내:구리는 여전히 트레이 내 - 서버-에서-랙 스위치 상단-, GPU-에서-GPU까지의 매우 짧은 연결에 주로 사용됩니다. 2~3미터 미만의 거리에서는 구리가 더 간단하고 저렴하며 지연 시간이 더 짧습니다.{10}}
• 랙-대-랙(2~100m):이는 400G 이상에서 광학 상호 연결이 실제 기본값이 되는 지점입니다. 컴퓨팅 랙을 인접한 랙의 메모리 풀에 연결하거나 GPU 트레이를 한 줄로 연결하려면 일반적으로 광섬유가 제공하는 대역폭 밀도와 도달 범위가 필요합니다.광섬유 케이블 어셈블리그리고MPO/MTP 연결이러한 경로의 표준입니다.
• 방-대-방 및 건물-대-건물(100m–10+km):이러한 거리와 속도에서는 광학 전송만 가능합니다. 이 범위는 저장소 풀, 백업 컴퓨팅 또는 재해 복구 리소스가 별도의 건물에 있는 캠퍼스-규모 분리에 중요합니다.

분리된 데이터 센터의 광 상호 연결과 구리선 비교

광학과 구리 사이의 선택은 바이너리가 아니며 - 범위에 따라 다릅니다-. 다음은 분할된 설계에서 가장 중요한 요소를 두 가지를 비교하는 방법입니다.

실용적인 요점: 단거리 단순성이 여전히 중요한 경우에는 구리를 사용하세요-. 도달 범위, 대역폭 밀도, 전력 효율성 또는 케이블 관리가 바인딩 제약이 되는 경우 광학을 사용하십시오. 분리된 환경에서는 아키텍처 자체가 분리된 리소스 풀 간에 더 길고 높은{3}}대역폭 경로를 생성하기 때문에 전체 상호 연결의 광학적 점유율이 증가합니다. 미디어 유형을 더 자세히 비교하려면 다음을 참조하세요.광섬유 케이블과 구리 케이블: 배포에 적합한 케이블.

분리를 위한 광 상호 연결의 주요 이점

분리된 리소스 풀을 위한 더 높은 대역폭 밀도

한때 함께 배치되었던 리소스가 이제 패브릭을 통해 통신하기 때문에 세분화를 수행하면 상호 연결 레이어를 통과하는 트래픽 볼륨이 증가합니다.- 광섬유는 더 높은-광섬유 대역폭과 케이블당 더 많은 광섬유로 이러한 요구를 지원합니다. 싱글리본 섬유 케이블작은 단면에 수백 개의 광섬유를 운반할 수 있어{0}}분리된 GPU 클러스터와 메모리 풀에 필요한 일종의 포트 밀도를 구현할 수 있습니다.

대규모로 전력 및 열 부담 감소

상호 연결 계층이 전체 시스템 트래픽에서 더 많은 부분을 차지하므로 분리된 설계에서는 전력 효율성이 더 중요합니다. 800G 이상에서는 중간 거리에 있는 구리 링크의 양쪽 끝에서 전력-집약적인 DSP 처리가 필요합니다. 동일한 속도와 거리의 광 링크는 비트당 전력을 덜 소비합니다. 함께 패키지된 광학 스위칭 플랫폼에 대한 NVIDIA의 기술 문서는-전력 소비량 3.5배 감소기존의 플러그형 트랜시버와 비교됩니다. 데이터 센터 규모에서 이러한 차이는 전기 요금 절감과 냉각 인프라 감소로 직접적으로 이어집니다.

모듈식, 독립적인 확장

분할의 핵심 약속 중 하나는 컴퓨팅, 메모리, 스토리지가 다양한 속도로 확장될 수 있다는 것입니다. 하나의 리소스 풀에 용량을 추가하기 위해 전체 패브릭을 재설계할 필요가 없기 때문에 광 상호 연결은 이러한 가능성을 뒷받침합니다.플러그형 광학 모듈기본 광케이블 플랜트를 변경하지 않고도 400G에서 800G, 1.6T로 - 점진적으로 - 업그레이드하거나 추가할 수 있습니다.

이기종 워크로드를 위한 유연성

고성능 광학 패브릭을 통해 리소스를 풀링하고 연결하면 인프라 팀은 고정된 서버 구성을 중심으로 작업 부하를 형성하는 대신 동적으로 작업 부하에 리소스를 할당할 수 있습니다. 이러한 유연성은 AI 훈련 작업, 실시간{2}}추론, 분석 파이프라인 및 스토리지 사용량이 많은 애플리케이션이 공존하고 다양한 리소스 유형을 두고 경쟁하는 환경에서 특히 중요합니다.

광학 상호 연결이 CXL 및 공동 패키지 광학 장치와 어떻게 관련되는지-

CXL: 메모리 및 리소스 공유를 위한 프로토콜 계층

CXL(Compute Express Link)과 광 상호 연결은 분리 문제의 다양한 부분을 해결합니다. CXL은 CPU, 메모리 장치 및 가속기 간의 캐시-일관적 통신을 가능하게 하는 PCIe 물리적 계층 -에 구축된 개방형 표준 프로토콜 -입니다. 이는 소프트웨어 및 프로토콜 수준에서 분리된 리소스를 효율적으로 풀링하고 공유할 수 있는 방법을 정의합니다.

Intel, AMD, NVIDIA, Samsung, Microsoft, Google 및 Meta가 회원으로 구성된 CXL 컨소시엄은 2023년 11월에 다음을 명시적으로 지원하는 CXL 3.1을 출시했습니다.다중-레벨 스위칭 및 패브릭-기반 분할랙 너머. CXL 3.0은 통합 패브릭에서 최대 4,096개의 노드에 대한 지원을 도입하여 랙-규모 및 클러스터 규모의-규모 메모리 풀링을 가능하게 했습니다.

광 상호 연결은 분산 노드 간에 CXL 트래픽(및 기타 프로토콜)을 전달할 수 있는 물리적 전송입니다. CXL-기반 메모리 풀링을 평가하는 팀과 광 상호 연결을 평가하는 팀은 서로 다른 각도에서 동일한 분리 계획을 진행하는 경우가 많습니다. - 하나는 프로토콜 및 리소스{3}} 공유 논리를 다루고 다른 하나는 물리적 전송을 다룹니다.

공동 패키지 광학 장치: 광학 장치를 칩에 더 가깝게 밀어넣음

공동 패키지 광학(CPO)은 전면 패널의 전기 트레이스를 통해 연결된 별도의 플러그형 트랜시버에 의존하는 대신 스위치 ASIC 또는 GPU와 동일한 패키지 기판에 직접 광학 엔진을 통합함으로써 더욱 발전합니다. 이는 시스템에서 가장 길고 전력을 많이 소모하는- 전기 경로를 제거합니다.

GTC 2025에서 NVIDIA는 첫 번째 제품을 발표했습니다.공동-패키지 실리콘 포토닉스 스위칭 플랫폼(Quantum-X Photonics 및 Spectrum{1}}X Photonics), 800Gb/s에서 512개 포트로 최대 409.6Tb/s 대역폭을 제공합니다. NVIDIA CEO Jensen Huang은 기존의 플러그형 트랜시버를 사용하여 백만 개의 GPU로 확장하면 트랜시버 전력만 약 180MW를 소비하게 된다고 언급했습니다. - 이는 CPO가 해결하도록 설계된 지속 불가능한 수치입니다.

CPO는 분할을 평가하는 모든 팀이 지금 배포해야 하는 것이 아닙니다. 플러그형 광학 모듈은 여전히 ​​대부분의 주요 폼 팩터로 남아 있습니다.데이터 센터 광섬유배포는 적어도 2020년대 후반까지 계속될 것입니다. 그러나 CPO는 광학적 로드맵의 방향을 나타내며 대규모 AI 클러스터 또는 차세대-분리형 패브릭을 계획하는 팀은 그 성숙도를 면밀히 추적해야 합니다.

광 상호 연결은 언제 가장 적합합니까?

AI 및 가속기{0}}집중 환경

AI 훈련 클러스터는 분리된 맥락에서 광학 상호 연결을 위한 가장 강력한 사용 사례 중 하나입니다. 이러한 시스템은 GPU-에서{3}}GPU로, GPU{4}}에서-메모리 경로에 걸쳐 막대한 동{1}}트래픽을 생성합니다. 클러스터 크기가 수백에서 수천 개의 GPU로 증가함에 따라 도달 범위 및 대역폭 요구는 구리가 지원할 수 있는 수준을 빠르게 초과합니다. 예를 들어 NVIDIA의 GB200 NVL72 아키텍처에서 네트워킹 비용(광 트랜시버 포함)은 전체 클러스터 비용의 15~18%를 차지하고, 광 트랜시버는 해당 네트워킹 비용의 약 60%를 차지합니다. 광학 레이어를 최적화하기 위한 경제성 및 성능 사례는 ​​상당합니다.

메모리 풀링 및 구성 가능 인프라

팀이 CXL-기반 메모리 풀링을 평가하는 경우 물리적 전송 계층은 허용할 수 없는 지연 시간을 추가하거나 규모를 제한하지 않고 이러한 분리를 지원해야 합니다. CXL 3.1은 명시적으로 랙 너머의 패브릭{3}}규모 분리를 목표로 합니다. 즉, 상호 연결 경로가 기존의 서버 내{4}}메모리 버스보다 더 먼 거리에 걸쳐 있다는 의미입니다. 광학 링크는 이러한 경로에 자연스럽게 적합합니다.

확장 요구사항이 균등하지 않은 대규모-환경

컴퓨팅, 메모리, 스토리지를 다양한 속도로 확장해야 하는 경우에도 광학 상호 연결이 더 적합합니다. 컴퓨팅 용량이 연간 3배 증가하고 스토리지가 1.5배 증가하는 경우, 분리된 아키텍처를 통해 각 풀을 독립적으로 확장할 수 있으며 - 광학 상호 연결을 통해 케이블링 플랜트를 매번 재설계하지 않고도 물리적으로 가능합니다.

말이 안 될 때

광 상호 연결은 모든 환경에 적합한 시작점이 아닙니다. 데이터 센터가 주로 기존 서버에서 균형 잡힌 범용 작업 부하를 실행하고{2}}랙 간 트래픽이 적당하고{4}}기존 구리 인프라를 통해 잘 처리되는 경우 광-우선 패브릭의 비용과 복잡성은 정당화되지 않을 수 있습니다. 마찬가지로 수십 대의 서버가 요구 사항을 충족하는 규모로 운영하는 경우 분할 자체로 인해 절약되는 것보다 운영상의 복잡성이 더 커질 수 있습니다. 규모, 이질성 및 리소스 불균형이 가상이 아닌 실제이고 측정 가능-할 때 아키텍처는 성과를 냅니다.

배포 전 평가할 사항

1. 실제 병목 현상 매핑

명확한 질문부터 시작하세요. 바인딩 제약 조건이 무엇인가요? 도달 범위(랙 레이아웃에 비해 구리 경로가 너무 짧음)입니까? 대역폭 밀도(GPU 클러스터에 공급할 케이블당 처리량이 충분하지 않음)? 전력(400G+에서 너무 많은 전력을 소비하는 전기 링크)? 리소스 활용(한 축에서는 서버가 과도하게 프로비저닝되고 다른 축에서는 부족함)? 광 상호 연결은 일반적인 현대화 조치로 채택될 때가 아니라 병목 현상이 물리적이고 측정 가능할 때 가장 가치가 있습니다.

2. 케이블 비용이 아닌 전체 시스템 비용을 평가하십시오.

흔히 저지르는 실수는 구리 케이블 가격을 구리 케이블 가격과 비교하는 것입니다.광케이블격리 상태. 그 비교는 오해의 소지가 있습니다. 의미 있는 비교에는 전력 소비, 열 오버헤드(및 이로 인해 발생하는 냉각 비용), 랙 장치당 포트 밀도, 사용 가능한 범위, 업그레이드 유연성 및 광범위한 아키텍처에서 낭비되는 리소스 비용이 포함됩니다. 400G 이상의 많은 분리된 환경에서 전체 시스템을 고려할 때 광섬유의 총 소유 비용은 구리선보다 낮습니다.

3. 호환성 및 작동 준비 상태 확인

평가하다광섬유 케이블 테스트요구 사항, 모듈 상호 운용성, 모니터링 도구 및 광섬유에 대한 팀의 운영 친숙도. 플러그형 광 모듈(OSFP, QSFP-DD)은-잘 표준화되어 있고 광범위하게 지원되지만 운영 팀은 대규모로 배포하기 전에 광케이블 처리, 청소 및 문제 해결에 능숙해야 합니다. 이러한 운영 요소를 검증할 수 있는 파일럿 도메인으로 시작하는 것을 고려해 보십시오.

4. 섬유공장의 장수계획

광케이블 인프라의 중요한 장점 중 하나는 패시브 광케이블 플랜트- 케이블, 패치 패널 및 경로-가 여러 세대의 트랜시버 기술을 지원할 수 있다는 것입니다. 잘 디자인된-데이터 센터 연결현재 400G용으로 설치된 광섬유 플랜트는 새 케이블을 뽑지 않고도 트랜시버를 교체하여 800G 및 1.6T 업그레이드를 지원할 수 있습니다. 이는 10년 계획 기간 동안 섬유에 대한 초기 투자를 더욱 방어 가능하게 만듭니다.

실용적인 채택 경로

1단계: 제한된 도메인 하나를 식별합니다.구리 도달 범위, 전력, 대역폭 밀도 또는 리소스 좌초로 인해 이미 측정 가능한 고통이 발생하고 있는 곳을 찾으십시오. 이는 GPU 클러스터 확장, 분석 환경의 랙{1}}간 병목 현상, 메모리 풀링 파일럿 등이 될 수 있습니다.

2단계: 시험하고 검증합니다.해당 도메인에 광 상호 연결을 배포합니다. 기존 기준을 기준으로 대기 시간 동작, 전력 소모, 운영 복잡성 및 확장 경제성을 측정합니다.

3단계: 증거를 바탕으로 확장합니다.파일럿 데이터를 사용하여 광범위한 채택을 위한 비즈니스 및 기술 사례를 구축합니다. 분할과 광학적 마이그레이션이 단일 빅뱅 프로젝트로 가장 잘 처리되는 경우는 거의 없습니다-. 단계적 출시를 통해 조직의 자신감을 학습, 조정 및 구축할 수 있습니다.

결정 체크리스트: 광학 인터커넥트가 귀하의 분리 이니셔티브에 적합한가요?

• 랙-대-랙 또는 방{2}}대{3}}방 연결 거리가 목표 속도에서 구리선의 실제 도달 범위를 초과합니까?
• 가까운 시일 내에 400G 이상의 링크 속도를 구축할 계획입니까?
• 전기 상호 연결의 전력 소비가 데이터 센터 에너지 예산의 의미 있는 부분이 되고 있습니까?
• CXL-기반 메모리 풀링, 컴포저블 인프라 또는 GPU 클러스터 확장을 평가하고 계십니까?
• 리소스 좌초(유휴 컴퓨팅, 메모리 또는 고정 서버 내부에 잠겨 있는 스토리지)가 측정 가능한 비용 문제입니까?
• 귀하의 환경에서는 컴퓨팅, 메모리, 스토리지를 다양한 속도로 확장해야 합니까?

이들 중 세 가지 이상이 적용되는 경우 광학 상호 연결은 분리 로드맵의 일부로 진지하게 평가할 가치가 있습니다.

FAQ

데이터 센터의 광 상호 연결이란 무엇입니까?

광 인터커넥트(Optical Interconnect)는 빛 신호를 사용하여 전송하는 기술입니다.광섬유 케이블데이터 센터 내 및 데이터 센터 간 네트워크 장치, 서버, 스위치, 스토리지 시스템 및 리소스 풀 간에 데이터를 전달합니다. 이는 동일한 속도에서 구리에 비해 더 높은 대역폭, 더 긴 도달 범위, 더 낮은 비트당 전력을 제공하므로 - 분리된 AI-지향 아키텍처에 특히 중요합니다.

광 상호 연결은 CXL과 어떻게 다릅니까?

그들은 서로 다른 계층에서 작동합니다. 광 상호 연결은 물리적 전송 기술입니다. - 빛을 사용하여 A 지점에서 B 지점으로 비트를 이동합니다. CXL은 CPU, 메모리 및 가속기가 일관되게 통신하는 방법을 정의하는 프로토콜 표준입니다. 광 상호 연결은 CXL 트래픽을 전달할 수 있지만 CXL은 단거리 연결을 위해 전기 링크를 통해서도 실행됩니다.- 분할로 인해 더 나은 프로토콜(CXL)과 더 나은 물리적 전송(광학)에 대한 수요가 발생하기 때문에 팀에서는 두 가지를 동시에 평가하는 경우가 많습니다.

분리된 데이터 센터에서 구리와 광이 공존할 수 있습니까?

예, 일반적으로 그렇습니다. 대부분의 분리된 환경에서는 더 간단하고 저렴한 매우 짧은-랙 내부 연결(3~5미터 미만)에 구리를 사용하고, 랙-}대-랙, 행-대-행 및 구리의 도달 범위, 전력 및 밀도 제한이 구속되는 더 긴 경로에 광섬유를 사용합니다. 결정은 범위에 따라 달라지며-모두가 아니거나-또는{11}}전혀 없습니다.

함께 패키지로 제공되는 광학 장치란 무엇이며 지금 필요한가요?-

Co{0}}CPO(공동 패키지 광학)는 광학 엔진을 스위치 ASIC 또는 프로세서와 동일한 패키지에 직접 통합하여 별도의 플러그형 트랜시버가 필요하지 않으며 전력 소비 및 지연 시간을 줄입니다. NVIDIA와 Broadcom은 차세대 AI 네트워킹 플랫폼에 CPO를 배포하고 있습니다.- 현재 대부분의 데이터 센터에는 CPO가 필요하지 않습니다. -플러그형 광학 모듈표준으로 남아 있지만 - CPO는 2026~2028년의 대규모 AI 인프라 로드맵에-있습니다.

광 상호 연결을 통해 분리를 추구하면 안 되는 경우는 언제입니까?

작업 부하가 컴퓨팅, 메모리, 스토리지 전반에 걸쳐{0}균형이 잘 잡힌 경우 규모는 적당합니다(서버 수십 대). 기존 구리 인프라는 부담 없이 현재 및 단기 대역폭 요구 사항을 처리합니다. - 분할 및 광 마이그레이션의 복잡성이 추가되면 투자할 가치가 없을 수도 있습니다. 유행어가 아닌 병목 현상부터 시작하세요.

데이터 센터 광 상호 연결에는 어떤 유형의 광섬유가 사용됩니까?

단일-모드 광섬유장거리-고속-링크(일반적으로 랙-간-랙 및 그 이상)에 사용됩니다.다중모드 광섬유이는 최대 수백 미터에 이르는 더 짧은 내부-데이터{1}}연결에 일반적입니다. 선택은 각 링크의 필요한 도달 범위, 속도 및 비용 프로필에 따라 달라집니다.