연구 및 개발 데이터 볼륨이 급격히 증가하는 것에 대응하고 더 많은 대역폭, 더 큰 유연성 및 더 빠른 데이터 전송 기능을 제공함으로써 '데이터 홍수'를 헤쳐나갈 수 있도록 설계된 ESnet의 6세대 네트워크

로고 이미지
로고 이미지

AMD가 미국 에너지부(U.S. Department of Energy. 이하, DOE)의 과학 전용 고성능 네트워크의 에너지 과학 네트워크의 6세대 'ESnet6'의 11일(현지시간) 공개와 함께 전 세계의 DOE 과학자 및 협력자들에게 서비스를 제공하는 '에스넷(Energy Sciences Network. 이하, ESnet)'과 협력을 발표했다.

매일 ESnet을 통해 이동하는 트래픽에는 수만 명의 연구원들의 데이터가 포함되어 있다. ESnet6은 DOE 연구 커뮤니티가 연구 및 개발 데이터 볼륨이 급격히 증가하는 것에 대응하고 더 많은 대역폭, 더 큰 유연성 및 더 빠른 데이터 전송 기능을 제공함으로써 '데이터 홍수'를 헤쳐나갈 수 있도록 설계된 ESnet의 차세대 네트워크이다.

AMD는 2018년부터 ESnet과 긴밀히 협력하여 ESnet6의 스마트하고 프로그래밍 가능한 네트워크 노드를 위한 강력한 적응형 컴퓨팅을 통합했으며, ESnet6의 익스트림 스케일 패킷 모니터링 시스템은 코어 네트워크 스위칭 노드에서  클라우드 및 온프레미스 데이터 센터 전반에 걸쳐 산업표준 서버의 성능을 향상과 데이터 센터 및 인공지능(AI) 가속을 위한 세계에서 가장 빠른 ‘알베오(Alveo)’ 데이터 센터 가속기 카드 포트폴리오의 'Alveo U280'이 활용된다.

이는 하이터치(High-Touch)  패킷 처리를 가능하게 하고 네트워크 모니터링 및 관리의 정확성을 개선하여 성능을 향상시키는 데 도움과 프로그래밍 가능한 하드웨어를 사용하면 네트워크에서 지속적인 혁신을 위해 새로운 기능을 추가할 수 있다.

알베오 U280(사진:본지DB)
알베오 U280(사진:본지DB)

AMD는 자사의 알베오 U280 2x100Gb/s 가속기를 ESnet6용 네트워크 인터페이스 카드(NIC: Network Interface Card)로 커스터마이즈 및 탑재하기 위해 자체 개발한 OpenNIC 오버레이를 활용, 표준 네트워크 인터페이스 및 호스트 연결 하드웨어를 제공한다.

이를 통해 새롭고 실험적인 네트워킹 기능을 알베오 카드 상에서 손쉽게 쉽게 구현한다. 오픈소스로 제공되는 OpenNIC는 ESnet뿐만 아니라 학계의 다양한 주요 연구 그룹에서 활용되고 있다. 

이 밖에도, AMD는 하드웨어 비전문가들이 이러한 기술 혁신을 신속하게 수행할 수 있도록 P4 패킷 프로세싱 언어를 FPGA 하드웨어로 컴파일할 수 있는 AMD VitisNetP4 개발 툴도 지원한다.

OpenNIC 및 VitisNetP4를 활용하는 AMD의 알베오 U280 카드는 ESnet6 네트워크 상의 노드 전체에 탑재된다. FPGA 가속 프로세싱 기반의 하이-터치 접근 방식을 통해 ESnet6의 모든 패킷에 대한 초고속 모니터링 시스템을 제공하며, 네트워크 동작에 대한 정밀한 분석은 물론, 네트워크 상의 문제나 핫스팟을 신속하게 감지하고 수정할 수 있도록 지원한다. 

또한, OpenNIC 플랫폼을 탑재한 알베오 U280 카드는 ESnet6의 수명주기 동안 최종 사용자 커뮤니티가 필요로 하는 새롭고 진보된 기능을 지속 지원하는 탁월한 적응성도 제공한다.

한편, AMD가 제공하는 적응형 컴퓨팅의 장점은ESnet6 네트워크 엣지에도 적용된다. 전 세계에서 운용되는 다양한 과학 연구 목적의 장비들은 ESnet이 지원하는 ‘빅데이터’ 과학의 주요한 소스이다.

OpenNIC를 기반의 알베오 카드는 이러한 장비들의 데이터가 ESnet으로 전송되기 전 맞춤형 필터링 및 쉐이핑 기능을 수행한다. 실례로 대규모 데이터 세트의 대상 중 하나인 슈퍼컴퓨팅 설비의 경우, OpenNIC를 탑재한 알베오 카드를 컴퓨팅 및 스토리지 서버 간의 부하 분배에 사용할 수 있다.

AMD 적응형 및 임베디드 컴퓨팅 그룹 CTO이자 수석 부사장인 이보 볼젠(Ivo Bolsens)은 “새로운 네트워크 서비스에 필요한 첨단 기술과 전문지식을 ESnet에 제공하게 되어 매우 기쁘다.”며, “AMD FPGA 기반 적응형 네트워킹 기술은 ESnet6의 대규모 패킷 프로세싱 시스템을 위한 핵심 빌딩 블록을 구성하고, DOE의 분산형 원격 사이언스(e-Science)에 대한 미래 비전의 토대를 제공한다.”고 밝혔다.

Esnet의 상무 이사인 인데르 몬가(Inder Monga)는 “DOE는 일상 생활의 혁신을 가져올 과학 연구에 수십억 달러 규모의 투자를 진행하고 있다. Esnet6는 이를 지원하고자 구축되었으며 과학 연구를 위한 네트워크 구축 방식의 혁신을 의미한다.”며, “AMD의 기술은 네트워크의 탄력성과 유연성, 성능 향상에 도움을 준다.”고 말했다.

한편, 로렌스 버클리 국립 연구소(Berkeley Lab)에 본부를 둔 ESnet은 DOE의 "데이터 순환 시스템" 역할을 하며 모든 국립 연구소와 수만 명의 DOE 지원 연구원을 연결한다. 여기에는 세계 최초의 엑사스케일 시스템, AMD EPYC™ CPU 및 AMD 스팅트 가속기(Instinct Accelerator)로 구동되는 프론티어 슈퍼컴퓨터(Frontier Supercomputer)를 비롯한 DOE의 최고의 장비 및 슈퍼컴퓨터 센터가 포함된다.

초당 46테라비트 이상의 대역폭을 제공하는 ESnet6은 과학 연구의 고유한 요구 사항을 지원하기 위해 이전 세대에 비해 대역폭이 크게 증가했다. 이러한 용량 증가와 새로운 서비스 기능을 통해 연구 및 개발자들은 실험, 모델링 및 시뮬레이션을 통해 생성된 방대한 연구 데이터를 보다 신속하게 처리, 분석, 시각화, 배포 및 저장할 수 있으며, 데이터는 상호 연결된 사이트와 공동 작업자 간에 빠르게 이동하여 검색 시간을 크게 단축시킨다.

 

저작권자 © 인공지능신문 무단전재 및 재배포 금지