본 연구에서는 그간의 미국의 인공지능(AI) 안전·신뢰성 정책 흐름을 살펴보고, 트럼프 2.0 시대에 AI 기술의 안전·신뢰성 확보하기 위한 정책 흐름이 어떻게 이어질지 예측하고자 하였다. 분석 결과, 미국은 오바마 행정부부터 트럼프 1기 행정부, 바이든 행정부에 걸쳐 AI 기술을 국가 안보와 직결된 전략 기술로서 인식하고 관련 정책을 수립·추진해왔다. 오바마 행정부에서는 AI가 안보와 글로벌 리더십 확보에 중요한 전략 과제임을 인식하고 안전한 AI 시스템을 보장하기 위한 연구 개발 계획 및 지침을 수립하였고, 트럼프 1기 행정부는 자국의 AI 리더십 확보를 위한 연구 강화와 혁신 투자, 그리고 신뢰할 수 있는 AI 개발 및 보급을 지시하였다. 바이든 행정부에서는 연방정부 차원에서 안전하고 신뢰할 수 있는 AI 혁신에 관한 행정명령을 발동하였다. 공통적으로 AI 개발 및 보급에서 세계를 선도함과 동시에 안전성과 신뢰성을 강화할 수 있는 정책을 마련하는 데 초점을 맞추고 있다. AI의 안전·신뢰성 확보 정책은 국가적으로 일관된 정책 흐름이며, 오히려 국가 안보와 미국 우선주의를 강조하는 트럼프2.0 시대에서는 더욱 강화될 수 있을 것으로 전망된다. Executive Summary This study examines the trajectory of U.S. Policy for Implementing Trustworthiness artificial intelligence (AI) safety and reliability policies and seeks to predict how these policies may evolve Trump 2.0 era. The analysis reveals that since the Obama administration through the first Trump administration, the United States recognized AI as a strategic technology closely tied to national security, developing and implementing policies to support its advancement. The Obama administration acknowledged AI as a critical strategic task for national security and global leadership, establishing research and development plans and guidelines to ensure safe AI systems. The first Trump administration emphasized strengthening U.S. AI leadership by enhancing research, investing in innovation, and directing the development and deployment of trustworthy AI. The Biden administration issued executive orders at the federal level to advance trustworthy AI innovation. All administrations have consistently focused on leading global AI development and deployment while simultaneously reinforcing trustworthiness. Policies to ensure AI trustworthiness thus reflect a unified national strategy. Furthermore, with the Trump 2.0 era’s emphasis on national security and an “America First” agenda, these policies are anticipated to be further strengthened.

최근 인공지능의 부상과 함께 인공지능의 기능적 한계, 잠재적 위험에 대한 우려도 고조되고 있다. 이러한 상황에서 2023년 11월에는 세계 최초로 세계 정상들이 참여한 ‘AI안전성 정상회의’가 개최되었고, 2024년 5월에는 후속 회의로서 ‘AI 서울 정상회의’도 열렸다. 2024년 8월에는 2021년부터 발의된 EU의 인공지능법이 발효되었다. 앞으로 믿고 쓸 수 있는 인공지능, 인간에 무해한 인공지능의 개발과 보급을 위한 정책적 노력들이 강화될 것으로 예측된다. 하지만, 정책적 대상으로서 인공지능 안전의 개념과 범위는 모호하다. 비슷한 개념으로 인공지능 신뢰성, 인공지능 윤리, 인공지능 견고성, 책임 있는 인공지능 등이 혼재되어 사용되고 있다. 따라서, 무엇보다 ‘인공지능 안전성’에 대한 개념에 대한 합의가 필요한 상황이며, 그 대상이 기술적 영역에 국한되는지, 기업의 책무와 윤리적 영역까지도 포함하는지 개념의 범위에 대한 검토도 필요하다. 이에 본 연구에서는 최근 화두가 되고 있는 ‘인공지능 안전성’을 다른 유사 개념들과 비교하여 그 개념을 정의하고, 그 개념이 포함하는 범위에 대해서도 조망한다. 이를 위해 현재까지 제정된 ISO/IEC의 국제표준 정의와 EU, OECD 등 국제 협력 기구에서의 정의, 그리고 최근 설립된 미국, 영국 등 AI안전연구소들이 준용하는 개념들을 살펴보았다. 이를 토대로 향후 AI 안전성을 확보하기 위해 정책적 시사점을 정리하였다. Executive Summary With the recent rise of artificial intelligence (AI), concerns regarding its functional limitations and potential risks have been increasing. In response, November 2023 saw the world's first AI Safety Summit with the participation of global leaders, followed by the Seoul AI Summit in May 2024. In August 2024, the EU's Artificial Intelligence Act, initially proposed in 2021, came into effect. It is anticipated that policy efforts to develop and promote trustworthy and harmless AI will be strengthened in the future. However, the concept and scope of AI safety as a policy target remain unclear. Similar terms such as AI trustworthiness, AI ethics, AI robustness, AI reliablity, and responsible AI are often used interchangeably. Thus, it is crucial to reach a consensus on the concept of 'AI safety' and to examine whether it is limited to technical aspects or includes corporate responsibility and ethical considerations. This study compares the recently prominent concept of 'AI safety' with similar terms to define its scope and meaning. To do so, we review the definitions provided by ISO/IEC international standards, international organizations like the EU and OECD, and the concepts adopted by newly established AI safety research institutes in the US and UK. Based on this analysis, the study outlines policy implications for ensuring AI safety in the future.

최초의 산업혁명은 증기 기관과 철도를 통한 대규모 운송과 이동성의 변화에서 시작되었으며, 이는 생산과 무역 방식을 근본적으로 바꿔 기존의 산업·시장의 경쟁 및 성장 체계를 근간부터 재구성하였다. 이를 고려하면 최근 진행되는 4차 산업혁명에서도 운송과 이동성의 변화는 눈여겨 봐야하는 주요한 경쟁 요소로 파악할 수 있다. 실제로 SDV(Software Defined Vehicle, 소프트웨어 정의 차량)와 UAM(Urban Air Mobility, 도심 항공 모빌리티)은 4차 산업혁명의 대표적인 모빌리티 혁신 사례로, 물리적 이동 수단이 디지털로 제어되는 통합 기술이다. 그리고 그 파급력은 물리적 거리의 한계 극복에 그치지 않고 물리적 기술과 디지털 기술의 융합을 통해 산업의 경쟁 및 성장 체계를 재구성할 것으로 기대할 수 있다. 다만 SDV의 대표격인 자율주행차나 도심항공 모빌리티의 본격적인 상용화는 어려움을 겪고 있으며, 앞으로도 상당 기간 소요될 것으로 전망된다. 이에 '크롤-워크-런(Crawl-Walk-Run)'과 같은 접근법을 통해 산업의 단계적 발전을 차근히 밟으며 관련 이슈와 리스크를 최소화 하는 것이 필요할 수 있다. 그리고 본격적인 상용화로 이끄는 간극(캐즘)을 최소화하기 위해 가장 중요하게 고려할 수 있는 필수 요소 중의 하나가 안전 신뢰성의 향상이라고 할 수 있다. 특히 물리적 이동수단과 디지털 인프라가 결합되어 진행될 시스템에서는 서비스의 핵심이라고 볼 수 있는 소프트웨어의 안전 확보를 위한 노력도 병행되어야 할 것이다. 본 보고서는 이런 관점으로 SDV와 UAM 분야의 동향을 파악하며 모빌리티 산업의 안정적인 발전과 국내 산업의 성공적인 연착륙을 지원하고자 한다. Executive Summary The First Industrial Revolution began with transformative changes in large-scale transportation and mobility through the advent of steam engines and railroads. These innovations fundamentally altered methods of production and trade, reconstructing the competitive and growth structures of existing industries and markets from their very foundations. Considering this historical precedent, changes in transportation and mobility during the ongoing Fourth Industrial Revolution can be identified as critical competitive factors that warrant close attention. Indeed, Software-Defined Vehicles (SDVs) and Urban Air Mobility (UAM) are representative examples of mobility innovation in the Fourth Industrial Revolution. These technologies integrate physical means of transportation with digital control systems. Their impact is expected not only to overcome the limitations of physical distance but also to reconstruct industrial competitive and growth structures through the convergence of physical and digital technologies. However, the full-scale commercialization of autonomous vehicles which epitomize SDVs and urban air mobility is encountering significant challenges and is projected to require considerable time to materialize. Therefore, it may be necessary to minimize related issues and risks by methodically advancing through stages of industrial development, such as the "Crawl-Walk-Run" approach. One of the essential factors in bridging the chasm toward full commercialization is the enhancement of safety reliability. Particularly in systems where physical transportation means and digital infrastructure are integrated, concurrent efforts to ensure the safety of software which can be considered the core of the service are imperative. From this perspective, this report aims to understand the trends in the SDV and UAM sectors based on such analysis, thereby supporting the stable development of the mobility industry and facilitating the successful soft landing of the domestic industry.

최근 몇 년간 인공지능(AI) 기술의 발전은 챗GPT의 출시 이후 거대 언어 모델(LLM) 개발 경쟁을 거치며 가속화되었다. 현재 공개된 AI 모델들의 성능은 특정 분야에서는 이미 인간의 능력을 뛰어넘었고, 이에 따라 활용 범위 또한 급격히 확장되었다. 특히 생성 AI를 기반으로 하는 범용 AI는 제조, 의료, 금융, 교육 등의 여러 산업 분야에서 활용되고 있다. 하지만, AI 기반의 서비스들이 다양한 이점을 제공하는 한편, 고성능 AI에 대한 접근성의 향상으로 인해 새로운 위험에 대한 우려 또한 증가했다. 이에 따라, 기존 AI 신뢰성, 책임성, 윤리 등의 논의와 더불어, ‘AI 안전’이 더욱 중요해졌다. 악의적인 사용, 오작동과 같은 위험들이 실제 피해까지 야기하고 있는 만큼, AI의 안전 확보를 위한 대응책 마련이 시급해진 상황이다. 앞으로 등장할 더 강력한 성능을 가진 프론티어 AI 모델은 의도치 않은 결과의 도출, 제어 불가, 사회적 악영향 등 여러 잠재적인 위험을 포함할 가능성이 높아, 규제와 지침 마련을 비롯하여 다양한 국제적 노력이 이루어지고 있다. 각 국의 정부, 기업 등 이해관계자들은 AI의 안전성을 확보하기 위해, 위험을 식별하여 평가 기준을 마련하고, 안전한 AI 개발 및 배포와 위험 대응책을 마련하기 위해 노력하고 있다. 최근 연구들에서는 사고 사례나 발생 가능한 시나리오에 따른 위험들을 분류하여 제시하고 있다. 하지만, 연구마다 다양한 위험 분류 체계를 제시하고 있어, 합의된 AI 안전 평가 체계를 마련하기에는 아직 더 많은 논의가 필요한 상황이다. 미국, 영국, 일본 등은 AI 시스템의 안전성 확보를 위해 AI 안전연구소를 통해 AI 안전 및 위험 연구, 위험성 평가, 안전한 AI 개발·구현을 위한 기준 마련 등의 기능을 수행 중이다. 대표적으로 AI 위험 관리 프레임워크(美), AI 안전에 관한 과학 보고서(英) 등을 통해 AI의 위험에 대한 대응 방안을 제시하고 있으며, 한국도 설립될 AI 안전연구소를 통해 AI 안전 수요에 대응할 예정이다. 본 보고서에서는 AI 안전과 관련된 개념을 정리하고, 최근 수행된 연구들이 제시하고 있는 AI 위험 유형 및 요인을 정리하여, 사례와 함께 분석함으로써 앞으로의 AI 위험 대응에 관한 정책적 시사점을 제공하고자 한다. Executive Summary Advancements in artificial intelligence (AI) technology have accelerated, particularly following the launch of ChatGPT, which has triggered a competitive race in the development of large language models (LLMs). The performance of currently available AI models has already surpassed human capabilities in certain domains, leading to a rapid expansion in their areas of application. General-purpose AI, especially those based on generative AI, is now being utilized across various industries, including manufacturing, healthcare, finance, and education. However, while AI-based services offer numerous benefits, the increased accessibility of high-performance AI has also raised concerns about new risks. As a result, alongside existing discussions on AI reliability, accountability, and ethics, "AI safety" has become an increasingly critical issue. Given that risks such as malicious use and malfunctions are already causing real harm, there is an urgent need for measures to ensure AI safety. Governments, corporations, and other stakeholders are working to ensure the safety of AI by identifying risk factors, establishing evaluation criteria, and developing measures for the safe development and deployment of AI, as well as for responding to potential risks. Recent studies have classified risk factors based on accident cases and possible scenarios. However, since each study presents different classification, further discussion is needed to establish a common AI safety evaluation framework. The United States, the United Kingdom, and Japan are addressing safety of AI through dedicated agency, which focus on AI risk research, risk assessments, and the development of standards for the safe creation and implementation of AI systems. Notable examples include the AI Risk Management Framework (USA) and the Science Report on AI Safety (UK), both of which propose strategies for addressing AI-related risks. Korea also plans to address AI safety demands through the establishment of its own AI safety institute. This report aims to organize the concepts related to AI safety, summarize the risk factors identified in recent studies, and analyze these factors along with real-world cases to offer policy implications for future AI risk response strategies.

생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 우려가 고조되고 있다. 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 긴장이 높아지고 있다. 산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이러한 상황에서 유럽연합은 2024년 5월 세계 최초로 인공지능 규제법인 인공지능법을 제정하였고, 미국은 2023년 10월 행정명령을 발동해 인공지능의 안전한 개발과 보급을 유도하고 있다. 2023년 11월 영국에서 세계 최초로 개최된 인공지능 안전성 정상회의는 인공지능 안전성 확보를 위한 국제 사회의 동참을 만들어 내는 계기가 되었다. 구체적으로 영국, 미국, 일본은 AI안전연구소를 설립하고, 첨단 AI의 안전성 테스트를 위한 프레임워크 개발과 정보, 인력 교류, 표준화에 상호 협력하기로 했다. 2024년 5월 제1차 인공지능 안전성 정상회의 후속으로 진행된 한국-영국 공동 주최 AI 서울 정상회의에서는 우리 정부도 AI 안전연구소 설립을 공식화하고 주요국과 함께 AI 안전성 확보를 위한 국제협력에 적극적 의지를 표명하였다. 향후 AI 안전 확보를 위한 정부의 역할이 더욱 중요해질 것으로 예상되는 가운데, AI 안전연구소는 AI 안전성 테스트 방법 및 프레임워크 개발, AI 안전성 확보를 위한 원천기술 개발 및 표준화, 그리고 이를 위한 정책연구와 민관협력, 국제 교류를 추진해 나갈 것으로 예상된다. 민간의 혁신을 저해하지 않고 사회와 산업에 안전한 인공지능을 도입·활용을 위해 AI안전연구소의 기능과 역할 정립이 요구되는 시점으로, 이 보고서에서는 영국, 미국, 일본 등 주요국의 AI안전연구소의 추진 동향을 살펴보고 국내 AI안전연구소의 역할을 모색한다. Executive Summary With the proliferation of generative AI, concerns about the potential risks of artificial intelligence technologies are mounting. The technical limitations of generative AI, such as hallucinations and black-box models that complicate result interpretation, along with the societal harm caused by the misuse of technologies like deepfakes and cyberattacks, are increasing tensions. AI experts in academia and industry warn that rapid advancements toward superintelligent AI, which humans cannot comprehend, may lead to autonomous growth and loss of control, potentially threatening human existence.In response to these concerns, the European Union enacted the world's first AI regulatory law, the Artificial Intelligence Act, in May 2024. Meanwhile, the United States issued an executive order in October 2023 to guide the safe development and dissemination of AI. The first AI Safety Summit, held in the UK in November 2023, marked a pivotal moment, fostering international collaboration to ensure AI safety. Specifically, the UK, the US, and Japan have agreed to establish AI Safety Institutes, develop frameworks for testing advanced AI safety, and cooperate on information exchange, personnel training, and standardization. Following the first AI Safety Summit in May 2024, the AI Seoul Summit, co-hosted by Korea and the UK, saw Korea committing to establishing an AI Safety Institute and expressing a strong intention to participate in international cooperation for AI safety with other major countries. As the role of the government in ensuring AI safety becomes increasingly important, the AI Safety Institute will focus on developing AI safety testing methods and frameworks, creating foundational technologies for AI safety, and promoting standardization. This will include policy research, private sector collaboration, and international exchanges. To introduce and utilize AI safely in society and industry without hindering private innovation, it is essential to define the functions and roles of the AI Safety Institute. This report examines the trends and initiatives of AI Safety Institutes in key countries, including the UK, the US, and Japan, and explores the potential roles of the Korean AI Safety Institute.

디지털 심화 사회에서 소프트웨어는 점점 더 중추적인 역할을 맡으며 산업 전반에 걸쳐 고부가가치를 창출하고 있다. 특히 모바일 컴퓨팅, 양자컴퓨터, 사물인터넷(IoT), 자율주행차, 빅데이터, 인공지능(AI), 로봇공학, 블록체인 등 4차 산업혁명의 핵심 영역에서 기술 발전을 가속화하는 중요한 요소로 자리 잡고 있다. 디지털 전환 가속은 디지털 사회의 복잡성과 의존성을 심화시키며 잠재적 위협이 되는 한편 디지털 기술을 활용한 안전 고도화의 기반으로도 자리매김한다. 소프트웨어 적용 확대로 인한 잠재적 위험 증가는 신체적 상해뿐만 아니라 사회적, 경제적 손실을 유발하는 사고로 이어질 수 있다. 이제 자연적·사회적 재난 사례의 증가뿐 아니라 디지털 공간에서의 안전 위협 사례가 빈번함에 따라, 소프트웨어 안전 확보는 주요 과제로 더욱 대두된다. 소프트웨어 안전은 외부 침해 없이 소프트웨어로 인해 발생할 수 있는 사고로부터 인간의 생명이나 신체에 대한 위험에 대비하는 상태를 의미한다. 이는 'Safety of Software'와 'Safety through Software' 두 가지 측면으로 좀 더 나누어 볼 수 있다. 'Safety of Software'은 소프트웨어 자체의 무결성을 보증하며, 사용자와 이용자에게 미칠 수 있는 위험으로부터 안전하게 보호하는 소프트웨어 설계를 포함한다. 즉, 소프트웨어로 인한 사고가 발생하지 않도록 소프트웨어 자체 품질 수준을 확보하는 것을 염두에 둔다. 'Safety through Software'은 소프트웨어 안전 기능을 중점으로 하여 발생 가능한 사고를 감소 및 예방하고, 비상 상황에 대응하는 것을 말한다. 이 보고서는 각각의 사례를 분석하여 소프트웨어 안전 관리 관점에서의 미비한 부분과 개선 방향을 조명하고, 추가적으로 보완해야 할 부분을 식별한다. 이를 통해 안전관리 프레임워크 차원에서 체계적으로 살펴 우리 정책의 개선 방안을 제시하고자 한다. Executive Summary In the digitally advanced society, software is becoming increasingly central, driving high-value creation across industries. It's particularly influential in accelerating technological advancements in key areas of the Fourth Industrial Revolution, such as mobile computing, quantum computing, the Internet of Things (IoT), autonomous vehicles, big data, artificial intelligence (AI), robotics, and blockchain. The acceleration of digital transformation deepens the complexity and dependence in digital society, posing potential threats while also serving as a foundation for enhanced safety through digital technology. The rise in natural and social disasters, along with frequent safety threats in digital spaces, has made securing digital safety for citizens a primary concern. The expansion of software applications increases potential risks, leading to accidents causing physical, social, and economic damages, necessitating preventive and management measures. Software safety refers to the state where there is sufficient preparation against risks to life or physical harm from accidents caused by software, in the absence of external breaches. This can be divided into two concepts. First, 'Safety of Software' ensures the integrity of software itself, maintaining the safety level to prevent accidents caused by the software. Recent examples include autonomous vehicles and smart factories, where embedded software must guarantee integrity and safeguard against potential risks. Software algorithm malfunctions and abnormal operations can lead to human casualties. Second, 'Safety through Software' focuses on utilizing software safety features to reduce and prevent potential accidents, and ensuring safety in emergency situations. This includes incidents where software errors in safety devices fail to prevent, and instead cause, major accidents. This report examines such cases to analyze shortcomings and directions for improvement in software safety management, identifying areas needing further enhancement. Through this, we aim to systematically examine our policy's improvements within the safety management framework.

그간 SW 안전은 사람의 신체적, 물리적 피해를 유발할 수 있는 분야를 중심으로 발전해 왔다. 그러나 SW의 영향력은 급격하게 확장되고 있다. SW 신기술로 볼 수 있는 인공지능, 블록체인, 메타버스 등은 세상을 혁신시키는 핵심 기술로 부상하고 있으나, 그 이면에는 다양한 사건 사고가 존재한다. 이러한 사고는 비단 신체적, 물리적 피해를 넘어 정신적, 경제적 피해를 유발시키고 있다. (후략)

소프트웨어 안전은 4차 산업혁명과 더불어 모든 산업의 경쟁력을 확보하는데 필수적인 요건으로 자리 잡고 있다. (후략)

• 행사명 : 소프트웨어 안전 국제 컨퍼런스 2021
• 일시 : 2021년 12월 2일(목) 13:00~17:00
• 장소 : 온라인 생중계

• 행사명 : 소프트웨어 안전 국제 컨퍼런스 2021
• 일시 : 2021년 12월 2일(목) 13:00~17:00
• 장소 : 온라인 생중계

• 행사명 : 소프트웨어와 사회안전 Summit 2021 Fall - 안전한 사회, 안전한 시민을 위한 적극적 사고 예방
• 일시 : 10월 14일(목) 오후 1시 ~ 오후 4시 10분
• 장소 : 온라인 참석 신청자 대상 개별 접속 링크 제공

SW안전을 확보하는 것은 SW나 시스템을 개발 또는 운영하는 대상에게는 규제로 인식되어 왔다.(후략)

4차 산업혁명의 영향으로 소프트웨어의 사용이 확대됨에 따라 소프트웨어 중요성이 강조되고 있다.(후략)

자율자동차, 드론, AI 등 소프트웨어 기술 발전에 따라 소프트웨어의 복잡성이 증가하고 소프트웨어 편의성 증가로 많은 분야에서 소프트웨어 의존성이 증가하고 있다. 이로 인해 소프트웨어의 제어를 받는 시스템이 증가하게 되어서 소프트웨어 결함으로 인한 사고의 발생 확률이 증가하고 있다. 결국은 과거와 달리 소프트웨어 문제로 인해 발생하는 사고의 피해의 영향력도 같이 커지고 있기 때문에 소프트웨어 안전관리가 국민의 안전 확보에 (후략)

SW가 중심이 되는 제4차 산업혁명 시대가 빠르게 도래함 첨단 정보통신기술, 특히 SW 중심의 기술이 경제·사회 전반에 융합되면서 혁신적인 변화(例, SW가 핵심인 자율주행차, 스마트 빌딩, 무인항공기 등의 등장)가 일어나고 있음 이러한 혁신적인 변화를 제4차 산업혁명의 시대로 규정하고 있음(후략)

딥러닝 알고리즘을 포함하는 자율차량시스템에는 민간 상용 항공기를 제어하는 것과 같은, 안전중요 소프트웨어를 검증하기 위한 자세한 요구 사항과 아키텍처가 부족하다. 자율형 차량은 시뮬레이션 플랫폼을 사용하여(후략)

자율주행차가 자율모드로 주행 중에 보행자와 충돌하여 보행자를 사망에 이르게 한 사고, 추락방지 SW가 오작동하여 탑승자 전원이 사망한 항공기 사고 등 최근까지도 지속적으로 SW 안전 문제로 인한 사고가 발생하고 있다.(후략)

• 주제 : 인공지능 기술 도입에 따른 SW 안전 이슈 동향과 AI 시대를 대비한 SW 안전 정책 방향
• 일시 : 2019년 12월 5일(목)
• 장소 : COEX(삼성동) 그랜드볼룸 102호

• 주제 : 인공지능 기술 도입에 따른 SW 안전 이슈 동향과 AI 시대를 대비한 SW 안전 정책 방향
• 일시 : 2019년 12월 5일(목)
• 장소 : COEX(삼성동) 그랜드볼룸 102호