A Preparation for the Malicious Use of Artificial Intelligence


▪ 인공지능의 악의적인 활용을 대비하기 위한 첫걸음으로, 시나리오 기법을 활용하여 잠재적인 위협에 대한 미래상을 논의함
▪ 그 본질적인 대응책으로, 인공지능 관련 정책 입안자나 개발자가 인공지능으로 인한 부작용을 인지하고 명시하는 노력이 필요함


▪ For the first step of discussing the malicious use of AI, the paper demonstrates potential threats by introducing possible scenarios
▪ For a fundamental countermeasure, authors emphasize that policymaker and developer of AI should be aware of side-effects about the malicious use of AI


■ 인공지능의 성능이 인간의 지능에 육박하거나 초월하는 시점에 도달하여, 인공지능의 악의적인 활용에 대한 논의가 본격화됨

  • 인공지능을 활용한 이미지 인식의 오차율*은 2.99%로 인간의 오차율인 5%를 능가함

* ILSVRC(Imagenet Large Scale Visual Recognition Challenge) 2016의 우승 팀인 Trimps-Soushen은 이미지 분류 문제에서 2.2991% 오차율을 기록

  • 구글 딥마인드의 바둑 인공지능 프로그램 AlphaGo Zero는 인간의 기보를 전혀 학습하지 않고 스스로 훈련하여 인간의 수준을 초월함

- 양질의 데이터 공급이 필수적인 심층 학습에서, 데이터를 스스로 생산하며 학습하는 전략으로 새로운 패러다임 제시
- 인간의 기보를 전혀 참조하지 않았다는 사실은 인간이 갖고 있는 편향(bias)*을 전면적으로 배제한 것으로 판단됨
* 인간의 기보를 학습할 경우 무한히 많은 경우의 수를 갖는 바둑 게임에서 한정된 영역을 학습할 가능성이 높음

  • 이러한 인공지능의 급격한 발전으로 인공지능의 악의적인 활용에 대한 논의가 활발히 이루어지고 있으며, 지난 2018년 2월에는‘ 인공지능의 악의적인 활용: 예측, 예방, 완화’라는 보고서가 발간됨1

<그림 1> 인공지능의 악의적인 활용 보고서 표지 ※ 자료 : The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation arxiv.org https://arxiv. org/abs/1802.07228

- 이 보고서는 인공지능과 관련된 세계 유수 연구 기관 7개*가 공동으로 집필함
* 인공지능으로 인한 일자리 변화를 분석한 영국의 옥스퍼드대학과 미래 인류 연구소(Future Humanity Institute), 사람에게 친화적인 인공지능 기술 개발 비영리단체인 OpenAI 등
- 구체적으로 인공지능의 악의적인 활용으로 인해 발생할 수 있는 시나리오를 제시함으로써 인공지능의 잠재적인 위험성에 대해 경고함
- 또한 인공지능의 악의적인 활용을 대비하기 위한 대비책을 권고함으로써, 미래 인공지능 기술에 주요한 영향력을 미치는 정책 입안자나 연구 개발자의 인식 제고가 필요함

■ 악의적인 인공지능 활용으로 인한 미래상

  • (디지털 보안) 개인정보를 학습한 인공지능이 가상의 개인처럼 행동하고, 인터넷을 통한 해킹의 자동화와 고도화 가능성이 높음

- 특정 인물의 정보를 인공지능을 활용해 학습하여 악의적인 웹페이지, 이메일, 링크 등을 자동 생성하여 해킹할 수 있음
- 소스 코드의 취약성 내역을 바탕으로 새로운 취약성을 유추하고 공격할 수 있음

디지털 보안 침해와 관련된 시나리오 예시

  • (물리적 보안) 인공지능을 활용한 테러분자의 위협

- 인공지능을 활용한 어려운 기술(high-skill)의 자동화로 위험성 증가함
※ 예시) 자동 조준이 가능한 원거리 저격 총기
- 소규모 개인 집단이 자율비행 드론을 활용한 대규모 물리적 공격이 가능함

물리 보안 침해와 관련된 시나리오 예시

  • (정치적 보안) 반대파의 진압을 위한 자동 감시 시스템의 악용

- 실제와 같은 영상 및 음성 미디어를 통한 가짜 뉴스의 전파, 또는 미디어의 의도적인 편향을 통한 언론의 통제
- 의도적으로 허위 정보를 생산하여 진실된 정보의 왜곡이 발생할 우려가 높음

정치적인 보안 침해와 관련된 시나리오 예시

■ 결 론

  • 이 보고서는 악의적인 인공지능 활용에 대한 근본적인 대응책으로 몇 가지 원칙을 제시함

- 인공지능 관련 정책 입안자는 반드시 인공지능 연구자와 협업하여 악의적인 인공지능 활용에 대한 예방책을 제시해야 함
- 인공지능 연구 개발자는 기술의 양면성을 인지하고 부정적으로 사용될 경우에 대한 파급효과를 심도있게 고려하고 대비책도 세워야 하며, 이 양면성은 모범사례(Best Practice)로 증명되어야 함

  • 향후 구체적인 대안을 모색하기 위해 인공지능 기술의 공개와 공개 방식에 대한 모델의 개발, 인공지능 연구자의 책임의식 제고를 위한 윤리교육, 정책적인 개입을 통한 안전한 인공지능 개발이 필요함

 


1  본 동향은 2018년 2월 발간된‘The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation’의 문서를 바탕으로 함(이하 악의적인 인공지능에 대한 보고서)

 

인공지능 월간SW중심사회 2018년 3월호