최근 인공지능의 부상과 함께 인공지능의 기능적 한계, 잠재적 위험에 대한 우려도 고조되고 있다. 이러한 상황에서 2023년 11월에는 세계 최초로 세계 정상들이 참여한 ‘AI안전성 정상회의’가 개최되었고, 2024년 5월에는 후속 회의로서 ‘AI 서울 정상회의’도 열렸다. 2024년 8월에는 2021년부터 발의된 EU의 인공지능법이 발효되었다. 앞으로 믿고 쓸 수 있는 인공지능, 인간에 무해한 인공지능의 개발과 보급을 위한 정책적 노력들이 강화될 것으로 예측된다. 하지만, 정책적 대상으로서 인공지능 안전의 개념과 범위는 모호하다. 비슷한 개념으로 인공지능 신뢰성, 인공지능 윤리, 인공지능 견고성, 책임 있는 인공지능 등이 혼재되어 사용되고 있다. 따라서, 무엇보다 ‘인공지능 안전성’에 대한 개념에 대한 합의가 필요한 상황이며, 그 대상이 기술적 영역에 국한되는지, 기업의 책무와 윤리적 영역까지도 포함하는지 개념의 범위에 대한 검토도 필요하다. 이에 본 연구에서는 최근 화두가 되고 있는 ‘인공지능 안전성’을 다른 유사 개념들과 비교하여 그 개념을 정의하고, 그 개념이 포함하는 범위에 대해서도 조망한다. 이를 위해 현재까지 제정된 ISO/IEC의 국제표준 정의와 EU, OECD 등 국제 협력 기구에서의 정의, 그리고 최근 설립된 미국, 영국 등 AI안전연구소들이 준용하는 개념들을 살펴보았다. 이를 토대로 향후 AI 안전성을 확보하기 위해 정책적 시사점을 정리하였다. Executive Summary With the recent rise of artificial intelligence (AI), concerns regarding its functional limitations and potential risks have been increasing. In response, November 2023 saw the world's first AI Safety Summit with the participation of global leaders, followed by the Seoul AI Summit in May 2024. In August 2024, the EU's Artificial Intelligence Act, initially proposed in 2021, came into effect. It is anticipated that policy efforts to develop and promote trustworthy and harmless AI will be strengthened in the future. However, the concept and scope of AI safety as a policy target remain unclear. Similar terms such as AI trustworthiness, AI ethics, AI robustness, AI reliablity, and responsible AI are often used interchangeably. Thus, it is crucial to reach a consensus on the concept of 'AI safety' and to examine whether it is limited to technical aspects or includes corporate responsibility and ethical considerations. This study compares the recently prominent concept of 'AI safety' with similar terms to define its scope and meaning. To do so, we review the definitions provided by ISO/IEC international standards, international organizations like the EU and OECD, and the concepts adopted by newly established AI safety research institutes in the US and UK. Based on this analysis, the study outlines policy implications for ensuring AI safety in the future.

최근 몇 년간 인공지능(AI) 기술의 발전은 챗GPT의 출시 이후 거대 언어 모델(LLM) 개발 경쟁을 거치며 가속화되었다. 현재 공개된 AI 모델들의 성능은 특정 분야에서는 이미 인간의 능력을 뛰어넘었고, 이에 따라 활용 범위 또한 급격히 확장되었다. 특히 생성 AI를 기반으로 하는 범용 AI는 제조, 의료, 금융, 교육 등의 여러 산업 분야에서 활용되고 있다. 하지만, AI 기반의 서비스들이 다양한 이점을 제공하는 한편, 고성능 AI에 대한 접근성의 향상으로 인해 새로운 위험에 대한 우려 또한 증가했다. 이에 따라, 기존 AI 신뢰성, 책임성, 윤리 등의 논의와 더불어, ‘AI 안전’이 더욱 중요해졌다. 악의적인 사용, 오작동과 같은 위험들이 실제 피해까지 야기하고 있는 만큼, AI의 안전 확보를 위한 대응책 마련이 시급해진 상황이다. 앞으로 등장할 더 강력한 성능을 가진 프론티어 AI 모델은 의도치 않은 결과의 도출, 제어 불가, 사회적 악영향 등 여러 잠재적인 위험을 포함할 가능성이 높아, 규제와 지침 마련을 비롯하여 다양한 국제적 노력이 이루어지고 있다. 각 국의 정부, 기업 등 이해관계자들은 AI의 안전성을 확보하기 위해, 위험을 식별하여 평가 기준을 마련하고, 안전한 AI 개발 및 배포와 위험 대응책을 마련하기 위해 노력하고 있다. 최근 연구들에서는 사고 사례나 발생 가능한 시나리오에 따른 위험들을 분류하여 제시하고 있다. 하지만, 연구마다 다양한 위험 분류 체계를 제시하고 있어, 합의된 AI 안전 평가 체계를 마련하기에는 아직 더 많은 논의가 필요한 상황이다. 미국, 영국, 일본 등은 AI 시스템의 안전성 확보를 위해 AI 안전연구소를 통해 AI 안전 및 위험 연구, 위험성 평가, 안전한 AI 개발·구현을 위한 기준 마련 등의 기능을 수행 중이다. 대표적으로 AI 위험 관리 프레임워크(美), AI 안전에 관한 과학 보고서(英) 등을 통해 AI의 위험에 대한 대응 방안을 제시하고 있으며, 한국도 설립될 AI 안전연구소를 통해 AI 안전 수요에 대응할 예정이다. 본 보고서에서는 AI 안전과 관련된 개념을 정리하고, 최근 수행된 연구들이 제시하고 있는 AI 위험 유형 및 요인을 정리하여, 사례와 함께 분석함으로써 앞으로의 AI 위험 대응에 관한 정책적 시사점을 제공하고자 한다. Executive Summary Advancements in artificial intelligence (AI) technology have accelerated, particularly following the launch of ChatGPT, which has triggered a competitive race in the development of large language models (LLMs). The performance of currently available AI models has already surpassed human capabilities in certain domains, leading to a rapid expansion in their areas of application. General-purpose AI, especially those based on generative AI, is now being utilized across various industries, including manufacturing, healthcare, finance, and education. However, while AI-based services offer numerous benefits, the increased accessibility of high-performance AI has also raised concerns about new risks. As a result, alongside existing discussions on AI reliability, accountability, and ethics, "AI safety" has become an increasingly critical issue. Given that risks such as malicious use and malfunctions are already causing real harm, there is an urgent need for measures to ensure AI safety. Governments, corporations, and other stakeholders are working to ensure the safety of AI by identifying risk factors, establishing evaluation criteria, and developing measures for the safe development and deployment of AI, as well as for responding to potential risks. Recent studies have classified risk factors based on accident cases and possible scenarios. However, since each study presents different classification, further discussion is needed to establish a common AI safety evaluation framework. The United States, the United Kingdom, and Japan are addressing safety of AI through dedicated agency, which focus on AI risk research, risk assessments, and the development of standards for the safe creation and implementation of AI systems. Notable examples include the AI Risk Management Framework (USA) and the Science Report on AI Safety (UK), both of which propose strategies for addressing AI-related risks. Korea also plans to address AI safety demands through the establishment of its own AI safety institute. This report aims to organize the concepts related to AI safety, summarize the risk factors identified in recent studies, and analyze these factors along with real-world cases to offer policy implications for future AI risk response strategies.