The Productive Artificial Intelligence R&D Challenge
인공지능(AI) R&D 챌린지’는 인공지능 기술로 현실적 문제를 해결하는 경진대회다. 올해 처음 시도된 인공지능 R&D 챌린지는‘ 가짜뉴스 찾기’를 주제로 지난 7월부터 12월까지 진행됐다. 가짜뉴스는 사회적 혼란을 초래할 만큼 파급력이 큰 문제로 꼽힌다. 챌린지 문제 선정을 위해 산학연의 인공지능 전문가가 문제 후보를 발굴하고 온라인 설문조사를 통해 최종 문제를 선정하는 등 대중이 참여할 기회도 제공했다.
인공지능 R&D 챌린지는 정부에서 요구하는 제안서에 맞춰 연구자들이 계획서를 제출하고 이를 바탕으로 과제를 선정하는 기존의 정부 R&D 방식이 아니라 선정 단계를 경진대회로 대체해 입상자에게 후속 R&D 형태로 지원하는 새로운 방식이다.
이런 경진대회 형태의 R&D는 이미 국제적으로 검증됐다. 미국방위고등연구계획국(DARPA)은 도전적인 문제를 해결하기 위한‘ 그랜드 챌린지’를 개최하고 있다. 2015년 카이스트에서 개발한 재난대응 로봇‘ 휴보’가 우승을 차지한 대회도 DARPA에서 주관한 로봇 챌린지다.
경진대회의 가장 큰 장점은 논문이나 특허 같은 실험실 수준의 정량적인 지표가 아닌 실제 문제 해결의 능력을 기준으로 판단한다는 점이다.
이번 인공지능 R&D 챌린지에서는 총 1만여건의 뉴스 기사에서 두 가지 유형의 가짜뉴스를 찾아내는 것이 과제로 주어졌다. 우선 제목은‘ 한국이 친선 경기에서 승리했다’인데 내용은 패배 했다는 것처럼 뉴스 기사 제목과 내용이 불일치하는 것이 문제였다. 두 번째 문제는 기사의 문맥이 불일치하는 것을 찾아내는 것이었다. 스포츠 기사에 연예 뉴스가 들어 있는 경우가 해당된다.
우승자를 선정하는 기준은 인공지능 분야에서 널리 활용되는 평가지표인‘ AUROC(Arear Under Receiver Operating Characterisic)1’이다. AUROC는 가짜와 진짜 뉴스를 모두 잘 구분해 낼 수 있어야 올라가는 지표다. 경진대회 결과 이 지표가 높은 기준으로 상위 3개 팀이 선정됐다. 또 대회의 공정성을 확보하기 위해 엄격한 기준의 검토 절차를 진행해 최종 수상자를 결정했다.
이번 인공지능 R&D 챌린지에는 개인, 대학, 기업 등 총 71개 팀이 참여했다. 특히 학습용 데이터를 제공하지 않고 매우 어려운 언어 처리기술을 요구하는 도전적인 과제였음에도 불구하고 입상한 3팀은 문제를 해결하기 위해 다양한 방법을 적용했다.
인공지능 R&D 챌린지에서 1위를 차지한 Deepest팀((주)이스트소프트와 줌인터넷(주)의 연합팀)이 워드임베딩2과 심층학습을 접목하여 가짜뉴스 판별 문제를 해결했다. 2위를 차지한 아이와즈팀(강장묵 남서울대 교수팀)은 자체 개발한 검색엔진과 형태소ㆍ구문 분석 등 다양한 자연어처리 기술을 활용했고, 3위를 차지한 누아팀((주)누아)는 심층학습으로 가짜뉴스를 판별했다. 대회를 통해 선정된 3개 수상팀에게는 1위는 6억 원, 2위와 3위는 각각 4.5억 원으로 총 15억 원의 후속 연구비가 지원된다.
이제 막 시작하는 단계이지만 경진대회를 통한 R&D 선정 체계가 현실적인 문제 해결을 위한 시금석의 역할을 할 것이라 본다. 내년도 대회를 위해 벌써 문제 발굴위원회가 가동돼 도전적 문제를 찾고 있다.
인공지능 R&D 챌린지가 첫발을 내디딘 만큼 앞으로 더 많은 기회와 지원이 확대되길 희망한다.
이 칼럼은 서울신문 2017년 12월 18일자 [IT 신트렌드]에 기고된 글을 보완한 것입니다.
AUROC(Arear Under Receiver Operating Characterisic)는 평가모형의 산출값인 평점, 등급 등의 특정값을 기준으로 우량과 불량을 구분하였을때 실제 우량을 불량으로 분류하는 비율 FAR(False Alarm Rate)에 대한 실제 불량을 불량으로 분류하는 HR(Hit Rate)의 관계를 그래프로 나타낸 ROC곡선을 하나의 수치로 나타낸 값으로 평가모형의 변별력을 나타내는 자료이다.
워드임베딩(Word Embedding) : 단어 간의 의미 연관성을 상대적인 거리로 표현(예를 들면, 사과와 배는 거리가 가깝고, 사과와 고양이는 거리가 상대적으로 멀다.)
![[그림] 인공지능 R&D 챌린지에서 1위를 차지한 Deepest팀 / R&D 챌린지에서 1위를 차지한 Deepest팀원 7명이 카메라를 응시하는 사진](/webroot/lib/fileman/Uploads/post_images/2017_12/sw_201712_18p_01.png)
