요약문 1. 제 목 : 글로벌 AI 신뢰성 동향 분석 2. 연구 목적 및 필요성 본 연구의 목적은 국내외의 AI 신뢰성 관련 동향 조사를 통해 최신 이슈를 파악 및 분석하여 정책적 시사점을 도출하고, 국내 정책 수립을 위한 기초 자료를 제공하는 데 있다. 인공지능 기술의 급격한 발전으로 국가사회 전반의 변화가 빠르게 이루어지면서, 현재 많은 산업 분야에서 AI 기술이 도입되고 일상 활용이 확산되고 있다. 하지만, AI 높은 효용성과는 반대로, 기술적 한계와 오남용 등으로 인해 환각, 편견과 차별을 야기하는 불공정, 개인정보 유출과 같은 문제가 대두되고 있다. AI 기술로 인한 위협으로부터 안전한 활용을 가능케하기 위해 AI 신뢰성을 확보하기 위한 노력들이 확산되고 있다. 세계 각국은 인공지능의 효용은 극대화하고 역기능 등은 최소화하기 위해 법제도적 기반과 통제방안 등을 마련하고 있고, 국제기관에서는 정책 보고서 및 신뢰할 수 있는 AI를 위한 지침들을 발표하고 있다. 기업들은 AI 시스템 개발에 있어 자체적인 원칙을 마련하거나 검증을 위한 방안을 수립하는 등 신뢰성을 고려한 전략을 추진하고 있다. 우리나라 또한 AI 국가 전략을 기반으로 다수의 전략과 실행 계획들을 발표하며 다양한 정책을 추진 중에 있는 만큼, 세계 주요국의 시의성 있는 동향을 파악하고 대응 할 필요가 있다. 3. 연구의 구성 및 범위 본 연구는 총 7개의 장으로 서론(1장)을 시작으로 주요국 AI 신뢰성 동향(2장), 국제기구(3장) 및 주요 기업동향(4장), 연구 및 표준 동향(5장)을 비롯하여 주요 AI 활용 산업별 동향(6장)과 시사점 및 결론(7장)으로 구성되어있다. 국내외 정부 및 국제기관 등의 언론, 공식 보도, 정책보고서와 같이 다양한 정보소스를 바탕으로 동향을 조사하여, △법제도 △기업/산업 △기술/연구 △인력/교육으로 이를 분류하였다. 본 연구에서는 한국을 포함하여 총 14개의 주요국을 다루고 있다. AI 관련 활동이 활발한 미국, EU, 영국, 중국, 일본, 캐나다를 포함하여 기타 주요국(독일, 프랑스, 호주, 스페인, 네덜란드, 싱가포르, 이스라엘)에 대한 동향을 바탕으로 국가별 AI 신뢰성 정책 동향을 기술한다. 산업별 AI 신뢰성 동향에서 고려하고 있는 산업은 크게 5가지로, AI의 도입이 활발한 △ICT △교육 △의료 △금융 △보안 산업에 해당한다. 기본적으로 2023년 이전의 정책적 흐름을 간략하게 다루고 있고, 주 조사 내용은 2023년 자료에 해당한다. 4. 연구 내용 및 결과 2017년부터 현재까지 50개국 이상에서 신뢰할 수 있는 AI를 위한 국가 전략 또는 정부 차원의 이니셔티브를 채택하였다. 이에 따라 국가 AI 정책 관리를 위해, 각 국 정부는 정부 조정기관, 위원회 설립 등을 통해 다양한 거버넌스 모델을 사용하고 있다. 현재 시의성 있는 동향 중 하나는 규제 정책이며, OECD AI 원칙과 국가 AI 전략 등을 바탕으로 규제 프레임워크를 만들고 있다. EU의 규제법안인 AI act는 2023년 말 합의가 된 만큼 추후 시행까지 동향을 추가적으로 파악할 필요가 있다. 대부분의 국가는 위험 기반의 규제 방식을 채택하고 있고, 고위험 AI에 대한 관리와 통제조치들을 집중적으로 다루고 있다. 우리나라의 AI 관련 입법안들은 AI 산업 발전을 위한 기반 마련에 초점을 맞추고 있고, 최근 들어 입법안에서 규제적 조치를 담고 있으나 아직 추가적인 논의가 필요한 상황이다. 세계적으로 AI의 신뢰성 확보가 더욱 중요해지고 있는 만큼, 주요국들은 적극적인 국가간 협력 체계를 구축하면서 다양한 논의를 진행하고 있다 OECD, UN, 유네스코 등은 꾸준히 인간 중심 접근방식에 중점을 두고 다양한 활동을 하고 있는데, OECD는 GPAI(Global Partnership on Artificial Intelligence), AI 거버넌스 작업반(AIGO) 등을 통한 국제 협력을 주도하고 있다. 이외에도 AI 책임성 향상에 관한 정책보고서, AI 규제 샌드박스 보고서 등 여러 정책 보고서 또한 발간하고 있다. G7 7개국은 히로시마 정상회담에서 히로시마 AI 프로세스를 출범하며 AI 국제 행동강령을 마련하였다. 이외에도 AI 안전 정상회의에서의 블레츨리 선언 등 대부분 생성 AI 기술 확산에 따른 위험성 증가에 대응하기 위한 움직임이 다수 존재하였으며, 국제 협력 규모가 더욱 확대되고 AI 거버넌스 등이 생기고 있는 추세다. 각 국 정부의 규제 움직임에 대해 기업 및 산업 부문에서는 과도한 규제에 우려하는 추세로, 기술 발전과 신뢰성 확보 측면에서 입장차가 존재한다. 명확한 규제가 존재하지 않는 현재, 기업들은 자율 규제 방식을 채택하고 최소한의 신뢰성 확보를 위해 개발 가이드라인이나 윤리 원칙 등을 수립하여 대응하고 있다. 향후 AI 서비스 및 SW 등에 인·검증이 본격적으로 전개될 것으로 예상되는데, 이와 관련한 국제 표준 선도에 대한 전략적 대응이 필요한 상황이며, 선제적 대응을 통해 이를 주도함으로써 선도적 입지 확보를 위한 투자가 필요할 것으로 보인다. 마지막으로 생성 AI 기술이 산업의 각 영역에 적용되고 혁신 도구로서의 가능성을 보여주고 있다. 특히 의료, 금융, 보안, 교육 등 분야에서 AI가 많이 활용되고는 있으나, 개인 및 사회에 영향력이 높은 만큼 엄격한 검증이 필요하다. 이에 도메인의 정제된 데이터를 이용해 생성 AI 기술의 신뢰성을 높이는 연구들이 진행되고 있음을 확인할 수 있었으며, 생성 AI의 잠재적 보안 취약성과 오남용으로 인한 피해에 대한 산업계의 면밀한 검토가 진행되고 있음을 파악하였다. 향후 다양한 산업 도메인과 영역에서 생성 AI 기술이 적용되기 위해서는 산업 특화된 데이터를 기반으로 생성 결과물의 신뢰성을 높이는 작업과 함께, 올바른 활용을 위한 지침과 규정이 보다 구체화될 것으로 예상된다. 5. 정책적 활용 내용 주요국의 AI 규제 입법안에서 위험을 통제하는 수단들은 데이터 관리, 위험 및 품질관리, 보안강화, 인간에 의한 통제조치, 투명성 확보와 이용자에 대한 정보제공 등으로 정리할 수 있다. 국가 및 기업들은 AI가 다루는 데이터의 방대함과 민감한 데이터의 사용 등에 따라 정보보안에 대한 요구사항이 많다. 시스템의 안정적 운영이나 오류를 방지하기 위해서도 정보보안이 강화되어야 하는데, 대부분의 법률안들은 사이버보안에 대해 특히 강조하고 있다. AI 시스템이 의도된 목적에 따라 적절한 수준의 정확성과 견고성, 사이버보안을 달성하고 수명주기 동안 일관되게 수행할 수 있도록 설계·개발될 것을 요구한다. 최근에는 AI 기술의 안전성에 초점을 맞춘 ‘AI 안전’이 더욱 중요해지고 있으며 다양한 가이드라인이 제안되고 있는 추세이다. 이외에도 EU 및 미국 등은 AI 시스템이 사용되는 동안 인간이 효과적으로 감독할 수 있도록 설계·개발되어야 하고, 시스템을 안전한 상태로 정지시킬 수 있도록 통제를 강조하고 있으며, 투명성을 확보할 것을 규정한다. 이를 위해 미국, 영국을 중심으로 AI안전, 신뢰를 확보하기 위한 거버넌스 체계도 정비되고 있다. 국가 최고지도자를 중심으로 인공지능 국가 전략을 수립 추진하고 있으며 관련해 AI안전연구소와 같은 전담연구조직을 설치해 기술 및 제도 기반 수립을 위한 연구에 힘을 싣고 있는 상황을 주시할 필요가 있다. 생성 AI의 기반이 되는 파운데이션 모델(foundation model)의 중요성이 커지는 만큼 이와 관련된 지침들이 추가적으로 정의되고 있다. 향후 생성 AI는 텍스트를 넘어, 다양한 이미지, 영상, 텍스트 정보들을 학습에 활용하고 다양한 형태의 결과물로 출력하는 이른 바 ‘네이티브 멀티모달’ 기술로 전개될 것으로 예상된다. 따라서 데이터, 콘텐츠 산업 전반에 있어 영향이 커질 것으로 예상되는 가운데 관련 지적재산권, 오남용으로 인한 사회적 피해와 혼란에 대한 선제적 대응이 필요하다. 일례로, 딥페이크와 같은 기술은 배포, 게시 금지와 같은 규제와 처벌 규정들이 도입되고 있다. 이처럼 앞으로의 AI 신뢰성 정책을 수립함에 있어, 생성 AI를 비롯하여 급격히 발전하고 있는 AI 기술을 포괄적으로 수용할 수 있는 기반을 마련해 둘 필요가 있다. 기술과 서비스 변화에 따라 AI 산업 전반에 관여하는 구성원 또는 참여자가 달라지는 환경을 고려하여 구성원 간 관계, 개별 구성원이 준수해야 하는 의무들에 대한 지속적 논의가 필요하다. 또한 주요국들은 빠르게 인공지능의 위험성을 통제하는 수단들을 고민하고 적극적으로 입법화를 시도하는 만큼, 우리나라도 신업 진흥 및 기술 발전 이외에도 국내 규제 법안 마련에도 집중할 필요가 있다. 산업 및 시장 구조와 환경 변화에 대응하는 규제조치를 포함하여 데이터 관리와 차별 방지 의무화, 품질관리와 위험관리, 사이버보안과 회복력 확보, 인간에 의한 통제가능성 확보, 기술문서 작성과 기록관리 의무, 사용자 권리 보장과 국가의 감독기능 강화 등 다양한 규제수단들이 매우 구체적으로 제시되고 있는 만큼 적극적으로 이러한 조치들을 참조할 수 있을 것으로 판단된다. 6. 기대효과 본 연구에서는 국내외의 주요 AI 신뢰성 정책 사례를 조사하고 다양한 관점에서 이를 분석하였다. 법제도, 기업 및 산업, 기술 및 연구, 인력 및 교육 분야로 구분하여 넓은 범위에서 시의성 있는 사례들을 포함하여 의미 있는 움직임들을 파악할 수 있다. 또한 분석을 통해 현재 주요국의 규제에 대한 움직임, 기업들의 대응 방법, 주요 AI 활용 산업 분야에서의 신뢰성 이슈 등에서 시사점을 도출하여 방향성을 제시하고 있다. 이러한 국가별, 산업별 정책 현황 자료 및 분석 결과는 앞으로의 새로운 국내 AI 신뢰성 정책 수립에 있어 참고 자료로서 활용 될 수 있을 것으로 기대된다.
