입력 : 2021-09-24 17:23:10
- 생태계 파트너사 9개 시스템, 7개 추론 성능 테스트서 모두 1위
엔비디아는 24일, MLPerf 벤치마크에서 x86과 ARM 기반 CPU를 통해 향상된 AI 추론 성능과 에너지 효율을 달성했다고 밝혔다.
;)
< 엔비디아, MLPerf 벤치마크서 ARM 기반 서버 통해 AI 추론 성능 입증. >
ML커먼스가 주최하는 추론 테스트의 성능과 에너지 효율 부문에서 엔비디아는 3회 연속 신기록을 세웠다. ML커먼스는 2018년 5월에 결성된 벤치마킹 그룹이다. 이번에는 최초로 Arm 기반 시스템에서 데이터센터 부문 테스트가 진행됐다.
이번 벤치마크에 따르면 GPU 가속 플랫폼으로서 Arm 기반 서버들은 암페어 알트라 CPU를 사용해 유사 구성의 x86 기반 추론용 서버와 거의 동일한 성능을 제공한다.
엔비디아 파트너사 9곳의 시스템은 7개의 추론 성능 테스트 모두에서 1위를 차지했다. 또한 엔비디아는 유일하게 모든 MLPerf 테스트와 현재까지 진행된 라운드 전체에서 결과를 보고했다.
7곳의 OEM 업체가 총 22개의 GPU 가속 플랫폼을 제출했고, 이 서버 모델의 대부분은 엔비디아 인증 시스템을 통과해 다양한 범위의 가속 워크로드를 실행할 수 있는 것으로 검증됐다.
;)
< ARM 기반 서버의 성능. >
핵심에는 풀 소프트웨어 스택(full software stack)이 있다. 추론의 경우, 다양한 활용 사례를 위한 사전 훈련 AI 모델이 스택에 포함된다. 엔비디아 타오 툴킷((TAO Toolkit)은 전이학습을 활용해 사전 훈련 모델을 특정 애플리케이션에 맞춰 커스터마이징한다.
;)
< 엔비디아의 벤치마크 테스트 결과. >
엔비디아 텐서RT 소프트웨어는 AI 모델을 최적화해 메모리 활용성을 극대화하고 실행 속도를 높인다. 텐서RT는 x86과 Arm 기반 시스템 모두에서 사용 가능하다.
또한 엔비디아 트리톤 추론 서버 소프트웨어와 멀티-인스턴스 GPU(MIG) 기능도 벤치마크에 활용했다. 이 소프트웨어 스택의 개선 덕분에 엔비디아는 4개월 전에 진행한 MLPerf 추론 벤치마크와 비교해 성능 최대 20%, 에너지 효율 15% 향상을 달성했다.
목록
위로