생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 우려가 고조되고 있다. 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 긴장이 높아지고 있다. 산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이러한 상황에서 유럽연합은 2024년 5월 세계 최초로 인공지능 규제법인 인공지능법을 제정하였고, 미국은 2023년 10월 행정명령을 발동해 인공지능의 안전한 개발과 보급을 유도하고 있다. 2023년 11월 영국에서 세계 최초로 개최된 인공지능 안전성 정상회의는 인공지능 안전성 확보를 위한 국제 사회의 동참을 만들어 내는 계기가 되었다. 구체적으로 영국, 미국, 일본은 AI안전연구소를 설립하고, 첨단 AI의 안전성 테스트를 위한 프레임워크 개발과 정보, 인력 교류, 표준화에 상호 협력하기로 했다. 2024년 5월 제1차 인공지능 안전성 정상회의 후속으로 진행된 한국-영국 공동 주최 AI 서울 정상회의에서는 우리 정부도 AI 안전연구소 설립을 공식화하고 주요국과 함께 AI 안전성 확보를 위한 국제협력에 적극적 의지를 표명하였다. 향후 AI 안전 확보를 위한 정부의 역할이 더욱 중요해질 것으로 예상되는 가운데, AI 안전연구소는 AI 안전성 테스트 방법 및 프레임워크 개발, AI 안전성 확보를 위한 원천기술 개발 및 표준화, 그리고 이를 위한 정책연구와 민관협력, 국제 교류를 추진해 나갈 것으로 예상된다. 민간의 혁신을 저해하지 않고 사회와 산업에 안전한 인공지능을 도입·활용을 위해 AI안전연구소의 기능과 역할 정립이 요구되는 시점으로, 이 보고서에서는 영국, 미국, 일본 등 주요국의 AI안전연구소의 추진 동향을 살펴보고 국내 AI안전연구소의 역할을 모색한다. Executive Summary With the proliferation of generative AI, concerns about the potential risks of artificial intelligence technologies are mounting. The technical limitations of generative AI, such as hallucinations and black-box models that complicate result interpretation, along with the societal harm caused by the misuse of technologies like deepfakes and cyberattacks, are increasing tensions. AI experts in academia and industry warn that rapid advancements toward superintelligent AI, which humans cannot comprehend, may lead to autonomous growth and loss of control, potentially threatening human existence.In response to these concerns, the European Union enacted the world's first AI regulatory law, the Artificial Intelligence Act, in May 2024. Meanwhile, the United States issued an executive order in October 2023 to guide the safe development and dissemination of AI. The first AI Safety Summit, held in the UK in November 2023, marked a pivotal moment, fostering international collaboration to ensure AI safety. Specifically, the UK, the US, and Japan have agreed to establish AI Safety Institutes, develop frameworks for testing advanced AI safety, and cooperate on information exchange, personnel training, and standardization. Following the first AI Safety Summit in May 2024, the AI Seoul Summit, co-hosted by Korea and the UK, saw Korea committing to establishing an AI Safety Institute and expressing a strong intention to participate in international cooperation for AI safety with other major countries. As the role of the government in ensuring AI safety becomes increasingly important, the AI Safety Institute will focus on developing AI safety testing methods and frameworks, creating foundational technologies for AI safety, and promoting standardization. This will include policy research, private sector collaboration, and international exchanges. To introduce and utilize AI safely in society and industry without hindering private innovation, it is essential to define the functions and roles of the AI Safety Institute. This report examines the trends and initiatives of AI Safety Institutes in key countries, including the UK, the US, and Japan, and explores the potential roles of the Korean AI Safety Institute.
