대규모 AI 학습은 하나의 작업을 수백에서 수천 개의 가속기 위에서 실행하고, 각 스텝은 모든 참여 장치가 같은 배리어에 도착해야 끝난다[3]. 그런데 그 아래의 인프라는 여전히 소프트웨어가 조율하는 서버들의 모음이고, 지연은 부하와 주소 배치, 스레드 스케줄링에 따라 흔들린다. 자원 분해(disaggregation)를 매력적으로 만들었던 네트워크 중심 구성이 서버 하나하나를 독립적인 단위로 다루기 때문인데, 이는 촘촘하게 결합된 계산이 요구하는 조건과는 거리가 멀다.
최근 Nature Reviews Electrical Engineering에 실린 리뷰는 이 간극을 대역폭이 아니라 구조 수준에서 다뤄야 한다고 주장한다[1]. 이 리뷰는 파네시아의 실리콘·연구 조직과 Meta의 인프라 조직(Meta Infra)이 함께 썼다. 아래는 그 논지를 우리 표현으로 정리하고, 더 따져볼 지점을 덧붙인 것이다.
지연이 아니라 지연의 변동
칩 내부에서 홉당 지연은 설계 파라미터다. 배선이 짧고 파이프라인 깊이가 고정되어 있으며 중재가 하드웨어에서 끝나기 때문에, 나머지 설계가 그 타이밍을 믿고 쓸 수 있을 만큼 결과가 안정적이다. 반면 데이터센터에서는 같은 전송이 케이블, 인터페이스 카드, 스위치 큐, 그리고 하나 이상의 소프트웨어 동기화 계층을 지나며, 각 단계의 지연은 시스템 다른 곳의 상태에 따라 달라진다. 실제 운영 환경에서 수집된 측정치를 보면 왕복 지연 분포의 꼬리가 두꺼워 99퍼센타일이 중앙값의 약 5배에 이른다[4].
링크당 대역폭을 올리는 것으로는 이 문제가 해결되지 않는다. 400 Gbit/s 링크는 경로 하나의 처리량을 개선할 뿐 순회의 변동은 그대로 남긴다. 특히 장치 간 의존성이 촘촘한 워크로드에서는 참여 장치를 6배로 늘릴 때 각 장치가 이전 효율의 80% 중반대에 머물 수 있는데, 이 손실은 링크 용량이 모자라서가 아니라 기다리는 시간에서 나온다.
실패 모델도 함께 바뀐다는 점에 주의할 필요가 있다. 요청 기반 서비스에서 느린 서버 하나는 일부 요청의 품질만 떨어뜨린다. 반면 동기화된 학습에서는 멈춘 장치 하나가 나머지 전부의 스텝 경계를 붙잡고, 흔한 대응은 그룹 전체를 마지막 체크포인트로 되돌리는 것이다. 복구 단위가 장치가 아니라 그룹이다보니, 물어야 할 질문은 몇 개의 장치가 살아 있느냐가 아니라 그룹이 누구든 예측할 수 있는 속도로 전진할 수 있느냐가 된다.
자원 분해가 더 이상 이득이 되지 않는 지점
기존의 서버 중심 통합은 CPU, 메모리, 스토리지, 가속기를 고정된 인클로저 안에 넣고, 그 결과 자원 활용률은 50% 아래에 머물며 업그레이드 주기도 서로 어긋난다. 자원 분해는 이 한계를 기능별 풀로 나누고 네트워크로 연결해 해결했고, 서버가 사실상 독립적이며 장치 간 의존성이 약한 환경에서는 잘 동작한다.
그런데 AI 워크로드는 매 스텝마다 이 가정을 깬다. 계산 단계가 다른 장치에 있는 상태를 참조하면서도 지연에 대한 여유가 거의 없고, 소프트웨어로 유지하는 일관성은 주소 배치, 제어 흐름 경로, 스레드 스케줄링에 따라 달라지는 지터를 얹는다. 참여 장치가 늘수록 이 요인들이 서로 얽히며 분포는 더 넓어진다. 즉, 자원 분해를 매력적으로 만들었던 느슨한 결합이 촘촘한 동기화가 활용할 수 없는 바로 그 성질이다.
CXL이 해결한 것과 남겨둔 것
CXL은 세 개의 서브프로토콜로 장치 상호작용을 조직한다. 초기화와 설정, 입출력을 맡으며 PCIe 호환성을 유지하는 CXL.io, 장치가 CPU 캐시 계층에 접근하는 CXL.cache, 그리고 메모리를 CPU 패키지에서 떼어내는 CXL.mem이다. 이들의 조합이 Type 1, Type 2, Type 3 장치 구분을 만든다. 이 분류가 장치 동작을 설명하는 데는 유용하지만, 각 구성 요소가 주소 공간의 고정된 몫과 고정된 일관성 책임을 갖는다는 서버 중심 가정도 함께 담고 있다.
표준의 궤적은 패키지 중심 제약을 단계적으로 완화해온 과정이다. CXL 1.0은 CPU와 외부 장치 사이의 하드웨어 관리 메모리 접근을 열었다. CXL 2.0은 스위칭을 도입해 여러 장치가 공유 도메인 안에 공존하도록 했다. CXL 3.0은 패브릭 부착 메모리와 통합 주소 공간, 피어 투 피어 접근으로 모델을 확장했고, 그 결과 트래픽 패턴이 칩 내부 시스템의 것을 닮기 시작했다. 마지막으로 CXL 4.0 백서는 7세대 PCIe 물리 계층 위에서 레인당 전송률을 128 GT/s로 두 배 올리고, 리타이머를 최대 4개까지 두어 채널 도달 거리를 늘리며, 번들 포트(bundled port)로 여러 물리 포트를 하나의 논리 개체로 묶는다[2].
스케일업 관점에서 이 진화의 두 성질이 중요하다. 먼저, 일관성 부기(bookkeeping)가 패브릭 전체를 아우르는 단일 구조가 아니라 각 장치가 노출하고 관리하는 주소 범위를 따라 확장되고, 따라서 메타데이터 용량은 서버 스토리지 스택의 매핑과 상태 관리에서 이미 익숙한 범위에 머문다. 둘째, 이후 개정판들이 홉 수준 오류 검출과 재전송, 트랜잭션 수준 완료 및 순서 규칙, 채널 격리와 복구를 더했고, 이것이 패브릭이 커져도 장치 간 트랜잭션의 정확성을 지탱한다.
다만 표준은 타이밍을 결정하는 부분을 고정하지 않는다. 팬아웃과 파이프라인 깊이, 홉당 순회 지연은 구현에 맡겨져 있어서 규격을 준수하는 장치를 소프트웨어로도, 펌웨어로도, 전용 하드웨어로도 만들 수 있고 홉 수준 동작은 그 선택에 따라 자릿수 단위로 달라진다. 게다가 지원 토폴로지(예: 메시, 드래곤플라이, 토러스)는 고정된 홉 수가 아니라 연결성과 처리량을 설계 목표로 삼는 고성능 네트워킹에서 물려받은 것이다. 그러므로 규격 준수는 필요조건이지 충분조건이 아니며, 이 리뷰가 겨냥하는 설계 공간은 표준이 열어둔 구현 자유도 안에 있다.
하드웨어 구조 세 가지
고팬아웃 논블로킹 스위치. 팬아웃은 패브릭의 분기 계수를 정하고 결국 홉 수를 정한다. 팬아웃이 제한되면 패브릭은 스위치 홉을 늘려가며 커지는데, 이는 순회 거리를 늘리고 라우팅을 복잡하게 하며 같은 물리 공간 안의 장치 밀도를 제약한다. 논블로킹 동작은 동시 부하에서도 인그레스 대 이그레스 대역폭 비를 1로 유지하고, 그 덕분에 많은 가속기가 내부 경합 없이 파라미터나 액티베이션을 주고받을 수 있다. 모든 포트가 동일한 포워딩 파이프라인을 쓰고 순회 길이가 맞춰지므로, 스위치는 랙 규모 NoC(network-on-chip)의 루트 역할을 할 수 있다.
링크 가속 유닛(LAU). 모든 홉은 표준이 정의한 같은 일을 반복한다. 헤더를 만들고 변환하며, 트랜잭션을 관리하고, 다음 목적지를 정한다. 이 작업은 결코 가볍지 않다. 경계 홉은 로컬 주소와 메타데이터를 최대 4 PB의 패브릭 주소 공간으로 변환하고, 트랜잭션 처리는 CXL.io 8종, CXL.cache 6종, CXL.mem 12종에 걸치면서 혼잡과 교착 제약까지 함께 강제해야 한다. 이 단계들이 펌웨어 스케줄링 위에 놓이면 물리 경로가 그대로여도 제어 활동과 이벤트 처리, 일시적 경합에 따라 서비스 시간이 흔들린다. 명령 100여 개와 수십 종의 이벤트 로그를 다루는 일반적인 관리 인터페이스를 생각하면 이 민감도는 실제 장치에서 충분히 현실적인 문제다. 같은 단계를 고정된 하드웨어 파이프라인에 올리면 프로토콜 의미를 건드리지 않고 소프트웨어에서 오는 지터를 제거할 수 있다. 여기에 더해 LAU는 표준이 남긴 자유도를 활용해 링크 상태를 관찰하고 전송 파라미터(즉, 재시도 윈도와 큐 수용, 혼잡 지표)를 트래픽에 맞춰 조정한다. 이그레스 점유 기준으로 moderate와 severe 혼잡의 기본값이 각각 10%와 25%이므로, 이 값을 런타임에 조정하는 것은 약간의 로컬 대기를 재전송 감소와 하류 변동 감소로 바꾸는 선택이 된다.
패브릭 컨트롤러. 하나의 CXL 패브릭은 최대 4,096개 장치를 아우를 수 있고, 따라서 정확성과 순서는 장치 단위가 아니라 패브릭 단위의 문제가 된다. 컨트롤러마다 자기만의 로컬 규칙으로 결정하면 요청이 받는 순서와 우선순위가 어느 컨트롤러를 만나느냐에 따라 달라지고, 이 동작의 어긋남은 컨트롤러가 늘수록 커진다. 도메인 전체에 하나의 우선순위 정책을 적용하면, 단일 다이에서 트랜잭션 및 순서 엔진이 해주던 일을 패브릭이 그대로 얻게 된다.
스위치 다이의 플로어플랜은 같은 논리를 실리콘에서 드러낸다. 도메인 전체를 관장하는 제어 로직이 중앙에 놓이는데, 이는 모놀리식 SoC에서 중재 및 트랜잭션 엔진이 맡는 자리와 같다. 포트는 다이 가장자리를 따라 대칭적인 고리를 이루고, 그 결과 모든 장치가 동일한 전기적 거리를 갖게 되어 물리 계층 스큐가 타이밍 균일성을 해치는 일을 막는다. 각 포트는 자체 LAU와 컨트롤러 슬라이스, 버퍼를 품고, 그 아래의 크로스바 또는 다단 인터커넥트가 논블로킹 순회를 제공한다.
트레이, 파드, 패브릭
배치 측면은 칩 플로어플래닝을 랙 규모로 일반화한 세 단계로 정리된다. 트레이는 CPU와 가속기, 메모리 장치 또는 스위치를 외부 CXL 링크를 갖춘 모듈 블록으로 묶고, 그래서 다이 위에서 블록을 구성하듯 자원 유형을 구성하게 한다. 파드는 여러 트레이를 묶되 임의의 두 트레이가 단일 CXL 스위치 홉으로 통신하도록 하는데, 이는 칩 내부 타일 간 상호작용의 랙 규모 대응물이다. 파드 안에서 병렬화된 스위치 레인이 동일한 순회 경로를 여럿 제공하고, 따라서 시스템은 등가인 1홉 경로들 사이로 우회하면서 홉 범위는 고정한 채 장애의 영향을 국소화할 수 있다. 마지막으로 패브릭은 상위 계층 스위치로 파드들을 연결해 랙을 가로지르며, 토러스나 메시, 링, 플레인 형태의 스위칭 계층을 쓴다. 플레인 형태의 계층은 이분 대역폭을 유지하는 다단 Clos나 팻트리로 구현할 수 있다. 실제 배치에서는 트레이를 더 수용하기 위해 파드 수준 스위치에 오버서브스크립션을 허용하되, 상위 계층 스위치는 시스템 전체 순회의 균일성을 위해 오버서브스크립션 없이 유지한다.
일관성도 같은 계층을 따른다. 파드 내부에서는 로컬 CXL 스위치가 요청과 응답, 스눕 패킷의 순서 지점이 되어 칩 안의 타일이 갖는 순서와 가시성 관점을 제공한다. 상위 계층 스위치가 그다음 층을 맡고, 파드 사이의 홉 수를 맞춤으로써 스눕 왕복의 변동을 묶어둔다. 전진 보장은 소프트웨어 타이밍을 전혀 참조하지 않는 장치들에 기댄다. 요청과 데이터가 분리된 채널을 지나고, 크레딧 기반 흐름 제어가 송신 측이 하류 자원을 앞지르지 못하게 하며, 사전 정의된 라우팅이 순환 의존을 없앤다.
숫자, 그리고 그 숫자의 값
리뷰는 NVLink-C2C 기반 GB200 NVL72를 네트워크 기반 기준 플랫폼으로 놓고 세 지점에서 범위를 정량화한다[5].
일관성 도메인의 범위는 대략 한 자릿수만큼 커진다. 기준 구조에서 CPU 하나는 가속기 두 개와 직접 결합된다. 보수적인 CXL.cache 조율 가정 아래에서는 CPU 하나가 단일 주소 공간 안에서 최대 16개 가속기를 조율할 수 있어 8배가 되고, 랙 규모 배치 범위에는 이런 그룹이 약 60개 들어간다. 따라서 결과적인 일관성 도메인은 최대 960개 가속기를 포함할 수 있다.
데이터 접근은 정도가 아니라 급이 달라진다. RDMA 방식의 원격 접근이 대체로 마이크로초 수준의 변동을 동반하는 반면, 홉 수와 순회 대칭성을 강제하는 패브릭은 단일 홉 왕복을 수백 나노초 수준으로 유지할 수 있다.
장애 격리 단위는 더 촘촘해진다. 트레이가 기능별로 분해되어 있으므로 수리하거나 교체하는 단위가 서버가 아니라 장치가 되고, 핫플러그와 런타임 재구성을 지원하는 덕분에 교체 작업을 작업 실행 중에 진행할 수 있다.
이 값들은 조심해서 읽어야 한다. 메커니즘에서 도출한 구조적 상한이지 실제로 가동 중인 960 가속기 시스템의 측정치가 아니며, 리뷰도 이 점을 분명히 밝힌다. 즉, 구조가 허용하는 범위를 말하는 숫자다.
솔직하게 짚어야 할 한계
첫 번째 경계는 도달 거리다. 감쇠와 지터 때문에 128 GT/s의 전기적 CXL 링크는 홉당 몇 미터만 지원하고, 리타이머 2개를 직렬로 두면 약 7 m까지 늘어나 표준 배치 기준으로 6~7개 랙을 아우른다. 그 이상에서는 기판이 광으로 바뀌어야 하는데, 이는 구리 배선이 한계에 이르렀을 때 칩 내부의 장거리 경로가 광 링크를 택하는 것과 같은 흐름이다.
두 번째 경계는 물리 배치다. 랙을 수직으로 배선하면 평균 경로는 짧아지지만 공기 흐름을 희생하고, 수평으로 배선하면 그 반대가 된다. 스위치 트레이를 랙 중앙 가까이 두면 배선 길이의 편차가 줄어드는데, 이는 플로어플래너가 라우터를 다이 중앙 쪽으로 당기는 것과 같은 이유다. 세 번째 경계는 발열과 전력 밀도다. 가속기와 CPU 트레이는 안정적으로 동작하려면 간격을 둬야 할 만큼 발열이 크고, 메모리 트레이는 추가 라우팅 면적을 차지하며, 통제하지 않은 열 드리프트는 링크 동작의 변화로 되돌아온다.
보안은 미루기는 가장 쉽고 나중에 되돌리기는 가장 비싼 경계다. 학습과 추론이 동시에 도는 멀티테넌트 환경에서 일관성 기반 공유는 명시되지 않은 테넌트 간 경로를 만든다. 이를 해결하려면 암묵적으로 가정하지 않고 명시적으로 선언한 격리 도메인, 장치와 스위치 양쪽에서 하드웨어로 강제하는 접근 제어, 그리고 그 아래에서 통신의 기밀성을 받쳐주는 CXL 무결성 및 데이터 암호화가 함께 필요하다.
광 기술은 도달 거리의 한계를 넓히지만 나머지를 없애주지는 않는다. CXL-over-optics와 코패키지 광학, 광 백플레인은 같은 논리적 조율 체계를 훨씬 넓은 신호 도메인으로 실어 나를 수 있고, 그래서 그 위의 프로토콜 의미를 다시 설계할 필요가 없다. 다만 실제 채택 속도는 광학 주변의 모든 것이 결정한다. 광학이 얼마나 깊이 집적되는지, 링크 밀도를 얼마나 확보할 수 있는지, 검증과 공급망이 얼마나 준비되는지, 일상 운영에서 관리가 되는지, 총소유비용이 어디에 놓이는지가 그것이다. 하이퍼스케일 환경이라면 급격한 구조 교체보다는 초기 파일럿과 단계적 배치 쪽이 현실적이다.
우리가 읽은 결론
논쟁할 값어치가 있는 지점은 예측 가능성의 비용을 누가 지불하는가라고 본다. 네트워크 중심 패브릭은 순서와 가시성, 전진 보장을 소프트웨어에 맡기는데, 유연한 대신 비용이 참여 장치 수를 따라 커진다. 원칩형 패브릭은 그 비용을 묶기 위해 실리콘(즉, 스위치 팬아웃과 하드웨어 프로토콜 파이프라인, 패브릭 전체를 관통하는 단일 순서 정책)을 쓰고, 대신 6~7개 랙이라는 물리적 상한을 받아들인다. 트레이-파드-패브릭이 올바른 분할인지, 960개 가속기 규모의 일관성 도메인이 명시적 분할보다 나은 선택인지는 이 리뷰가 열어둔 논의 그 자체다. 우리는 리뷰가 제시한 기준이 이 분야의 어떤 제안에도 적용된다고 본다. 조율 비용이 시스템 자체보다 느리게 늘어날 때에만 그 설계는 복잡도를 지불할 가치가 있다.
출처와 저작권 안내
이 글은 Silicon and Systems가 작성한 편집 요약이다. 아래에 인용한 리뷰의 논지를 우리 표현으로 다시 서술했으며, 게재된 원문의 문장과 도판, 표, 용어 해설은 어느 것도 이 페이지에 복제하지 않았다. 본문의 도판은 이 요약을 위해 새로 만든 자체 제작물이다. 모든 도판과 전체 참고문헌을 포함한 정본은 DOI 10.1038/s44287-026-00315-5에서 확인하시기 바란다. 원문의 저작권은 (c) Springer Nature Limited 2026에 있다.
Note: Silicon and Systems의 편집자는 해당 리뷰의 교신저자인 정명수다. 리뷰의 저자 12명 중 10명은 파네시아(대전·서울), 2명은 Meta의 Meta Infra(Menlo Park) 소속이다. 원문에 선언된 이해관계, 즉 저자 다수가 파네시아(Panmnesia, Inc.) 소속이라는 사실은 이 글에도 동일하게 적용된다.