2022년 5월 컴퓨터 역사의 거대한 발자취로 기억될 엑사스케일 슈퍼컴퓨터가 공개되었다. 엑사스케일의 저변에는 컴퓨터의 계산을 보조하는 가속기의 역할이 컸는데, 가속기의 급격한 성장 배경에는 인공지능(이하 AI)이 존재한다. 딥러닝으로 대변할 수 있는 현재의 AI는 막대한 계산을 통해 성능을 향상시키는 접근을 취하기 때문이다. AI에 대한 수요는 곧 컴퓨팅 인프라의 수요로 이어지고 있는 상황에서 AI 시스템의 효율성을 측정한다는 것은 매우 중요한 일이다. 개방형 프로젝트로 추진된 MLPerf는 2018년부터 수 십 개의 글로벌 AI 기업과 수 백 명의 AI 엔지니어가 참여하여 AI 시스템의 성능을 측정하기 위한 벤치마크를 제안했다. MLPerf는 AI 활용의 실정에 맞는 측정 기준과 유연한 변화를 수용하며 점차 글로벌 성능 표준으로 향하고 있다. 이 보고서에서는 MLPerf의 벤치마크 측정 기준과 결과를 살펴보고 시사점을 도출하고자 한다.
Executive Summary
In May 2022, an exascale supercomputer that will be remembered as a huge step in the history of computers was unveiled. At the base of exascale, accelerators that aid in computation played a major role, and artificial intelligence (hereinafter referred to as AI) exists in the background of accelerators' rapid growth. This is because the current AI, which can be represented by deep learning, takes an approach that improves performance through massive computations. As the demand for AI is leading to the demand for computing infrastructure, it is very important to measure the efficiency of AI systems. Since 2018, MLPerf, promoted as an open project, has participated in dozens of global AI companies and hundreds of AI engineers to propose benchmarks to measure the performance of AI systems. MLPerf is increasingly moving towards a global performance standard, embracing metrics and flexible changes that fit the reality of AI applications. In this report, we will look at the benchmark metrics and results of MLPerf and draw some implications.
