생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 우려가 고조되고 있다. 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 긴장이 높아지고 있다. 산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이러한 상황에서 유럽연합은 2024년 5월 세계 최초로 인공지능 규제법인 인공지능법을 제정하였고, 미국은 2023년 10월 행정명령을 발동해 인공지능의 안전한 개발과 보급을 유도하고 있다. 2023년 11월 영국에서 세계 최초로 개최된 인공지능 안전성 정상회의는 인공지능 안전성 확보를 위한 국제 사회의 동참을 만들어 내는 계기가 되었다. 구체적으로 영국, 미국, 일본은 AI안전연구소를 설립하고, 첨단 AI의 안전성 테스트를 위한 프레임워크 개발과 정보, 인력 교류, 표준화에 상호 협력하기로 했다. 2024년 5월 제1차 인공지능 안전성 정상회의 후속으로 진행된 한국-영국 공동 주최 AI 서울 정상회의에서는 우리 정부도 AI 안전연구소 설립을 공식화하고 주요국과 함께 AI 안전성 확보를 위한 국제협력에 적극적 의지를 표명하였다. 향후 AI 안전 확보를 위한 정부의 역할이 더욱 중요해질 것으로 예상되는 가운데, AI 안전연구소는 AI 안전성 테스트 방법 및 프레임워크 개발, AI 안전성 확보를 위한 원천기술 개발 및 표준화, 그리고 이를 위한 정책연구와 민관협력, 국제 교류를 추진해 나갈 것으로 예상된다. 민간의 혁신을 저해하지 않고 사회와 산업에 안전한 인공지능을 도입·활용을 위해 AI안전연구소의 기능과 역할 정립이 요구되는 시점으로, 이 보고서에서는 영국, 미국, 일본 등 주요국의 AI안전연구소의 추진 동향을 살펴보고 국내 AI안전연구소의 역할을 모색한다. Executive Summary With the proliferation of generative AI, concerns about the potential risks of artificial intelligence technologies are mounting. The technical limitations of generative AI, such as hallucinations and black-box models that complicate result interpretation, along with the societal harm caused by the misuse of technologies like deepfakes and cyberattacks, are increasing tensions. AI experts in academia and industry warn that rapid advancements toward superintelligent AI, which humans cannot comprehend, may lead to autonomous growth and loss of control, potentially threatening human existence.In response to these concerns, the European Union enacted the world's first AI regulatory law, the Artificial Intelligence Act, in May 2024. Meanwhile, the United States issued an executive order in October 2023 to guide the safe development and dissemination of AI. The first AI Safety Summit, held in the UK in November 2023, marked a pivotal moment, fostering international collaboration to ensure AI safety. Specifically, the UK, the US, and Japan have agreed to establish AI Safety Institutes, develop frameworks for testing advanced AI safety, and cooperate on information exchange, personnel training, and standardization. Following the first AI Safety Summit in May 2024, the AI Seoul Summit, co-hosted by Korea and the UK, saw Korea committing to establishing an AI Safety Institute and expressing a strong intention to participate in international cooperation for AI safety with other major countries. As the role of the government in ensuring AI safety becomes increasingly important, the AI Safety Institute will focus on developing AI safety testing methods and frameworks, creating foundational technologies for AI safety, and promoting standardization. This will include policy research, private sector collaboration, and international exchanges. To introduce and utilize AI safely in society and industry without hindering private innovation, it is essential to define the functions and roles of the AI Safety Institute. This report examines the trends and initiatives of AI Safety Institutes in key countries, including the UK, the US, and Japan, and explores the potential roles of the Korean AI Safety Institute.

유럽(EU)은 2018년 4월 유럽AI전략을 수립한 이후 이의 실현을 위한 일련의 정책을 추진 중이다. 2019년 4월 발간한 『신뢰할 만한 AI윤리 가이드라인』과 2020년 7월 공개한 AI 윤리 『평가 목록(assessment list)』은 이러한 노력의 결과다. 이 작업은 52인으로 구성된 AI고위전문가(후략)

ACM이 2018년 6월 공표한 컴퓨팅 전문가 윤리 강령은 강령이 처음 공표된 이래 26년 만의 개정이다. 개정 내용은 데이터 권한, 오픈소스, 기계 학습, 보안, 레거시 시스템 대책 등 최신 컴퓨팅 환경에서 발생할 가능성이 있는 윤리 이슈를 다루고 있다.(후략)

• 인공지능 기술은 유례가 없는 속도로 빠르게 진화하고 있기 때문에, 인공지능과 인류가 공존하기 위한 인공지능 윤리 이슈가 부상
• 인공지능 기술 발전의 다양한 가능성을 고려하여 인공지능 윤리를 마련하는 접근이 필요함(후략)

과학기술정책 설계, 집행 및 평가 과정의 근본적인 혁신을 통해 국가지식생태계를 확립해야 함
* 창의성은 근원적으로 올바른 윤리에서 비롯됨: 윤리→신뢰→자율성→창의성
* 힘 중심 → 합리성 중심, 특정 사람 중심 → 시스템 중심, 정부 주도 → 민간 주도

인공지능 기술 발전의 순기능과 역기능에 대해 고려하고 해외 및 국내의 인공지능 관련 윤리정책과 법제 동향을 살펴보고 지능정보사회의 올바른 준비를 위한 정책과 법제를 고려해야 함, 이에 관찰자가 아닌 참여자의 관점이 절실히 필요하며 이는 기존의 정보화담론과는 질적으로 다른 측면이 존재하므로 인공지능을 설계, 제작, 관리, 사용하는 사람의 윤리와 사회적 인식에 관한 윤리를 가이드라인으로 제시하고 국제 레짐 신설과 같은 거버넌스적 접근이 필요함