학습의 한 스텝은 모든 참여 장치가 같은 배리어에 도착해야 끝난다. Nature Reviews Electrical Engineering의 리뷰는 이 문제를 랙 규모에서 푸는 일이 대역폭이 아니라 실리콘의 문제라고 보고, 필요한 하드웨어 구조 세 가지를 짚는다.