본 연구에서는 그간의 미국의 인공지능(AI) 안전·신뢰성 정책 흐름을 살펴보고, 트럼프 2.0 시대에 AI 기술의 안전·신뢰성 확보하기 위한 정책 흐름이 어떻게 이어질지 예측하고자 하였다. 분석 결과, 미국은 오바마 행정부부터 트럼프 1기 행정부, 바이든 행정부에 걸쳐 AI 기술을 국가 안보와 직결된 전략 기술로서 인식하고 관련 정책을 수립·추진해왔다. 오바마 행정부에서는 AI가 안보와 글로벌 리더십 확보에 중요한 전략 과제임을 인식하고 안전한 AI 시스템을 보장하기 위한 연구 개발 계획 및 지침을 수립하였고, 트럼프 1기 행정부는 자국의 AI 리더십 확보를 위한 연구 강화와 혁신 투자, 그리고 신뢰할 수 있는 AI 개발 및 보급을 지시하였다. 바이든 행정부에서는 연방정부 차원에서 안전하고 신뢰할 수 있는 AI 혁신에 관한 행정명령을 발동하였다. 공통적으로 AI 개발 및 보급에서 세계를 선도함과 동시에 안전성과 신뢰성을 강화할 수 있는 정책을 마련하는 데 초점을 맞추고 있다. AI의 안전·신뢰성 확보 정책은 국가적으로 일관된 정책 흐름이며, 오히려 국가 안보와 미국 우선주의를 강조하는 트럼프2.0 시대에서는 더욱 강화될 수 있을 것으로 전망된다. Executive Summary This study examines the trajectory of U.S. Policy for Implementing Trustworthiness artificial intelligence (AI) safety and reliability policies and seeks to predict how these policies may evolve Trump 2.0 era. The analysis reveals that since the Obama administration through the first Trump administration, the United States recognized AI as a strategic technology closely tied to national security, developing and implementing policies to support its advancement. The Obama administration acknowledged AI as a critical strategic task for national security and global leadership, establishing research and development plans and guidelines to ensure safe AI systems. The first Trump administration emphasized strengthening U.S. AI leadership by enhancing research, investing in innovation, and directing the development and deployment of trustworthy AI. The Biden administration issued executive orders at the federal level to advance trustworthy AI innovation. All administrations have consistently focused on leading global AI development and deployment while simultaneously reinforcing trustworthiness. Policies to ensure AI trustworthiness thus reflect a unified national strategy. Furthermore, with the Trump 2.0 era’s emphasis on national security and an “America First” agenda, these policies are anticipated to be further strengthened.

생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 우려가 고조되고 있다. 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 긴장이 높아지고 있다. 산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이러한 상황에서 유럽연합은 2024년 5월 세계 최초로 인공지능 규제법인 인공지능법을 제정하였고, 미국은 2023년 10월 행정명령을 발동해 인공지능의 안전한 개발과 보급을 유도하고 있다. 2023년 11월 영국에서 세계 최초로 개최된 인공지능 안전성 정상회의는 인공지능 안전성 확보를 위한 국제 사회의 동참을 만들어 내는 계기가 되었다. 구체적으로 영국, 미국, 일본은 AI안전연구소를 설립하고, 첨단 AI의 안전성 테스트를 위한 프레임워크 개발과 정보, 인력 교류, 표준화에 상호 협력하기로 했다. 2024년 5월 제1차 인공지능 안전성 정상회의 후속으로 진행된 한국-영국 공동 주최 AI 서울 정상회의에서는 우리 정부도 AI 안전연구소 설립을 공식화하고 주요국과 함께 AI 안전성 확보를 위한 국제협력에 적극적 의지를 표명하였다. 향후 AI 안전 확보를 위한 정부의 역할이 더욱 중요해질 것으로 예상되는 가운데, AI 안전연구소는 AI 안전성 테스트 방법 및 프레임워크 개발, AI 안전성 확보를 위한 원천기술 개발 및 표준화, 그리고 이를 위한 정책연구와 민관협력, 국제 교류를 추진해 나갈 것으로 예상된다. 민간의 혁신을 저해하지 않고 사회와 산업에 안전한 인공지능을 도입·활용을 위해 AI안전연구소의 기능과 역할 정립이 요구되는 시점으로, 이 보고서에서는 영국, 미국, 일본 등 주요국의 AI안전연구소의 추진 동향을 살펴보고 국내 AI안전연구소의 역할을 모색한다. Executive Summary With the proliferation of generative AI, concerns about the potential risks of artificial intelligence technologies are mounting. The technical limitations of generative AI, such as hallucinations and black-box models that complicate result interpretation, along with the societal harm caused by the misuse of technologies like deepfakes and cyberattacks, are increasing tensions. AI experts in academia and industry warn that rapid advancements toward superintelligent AI, which humans cannot comprehend, may lead to autonomous growth and loss of control, potentially threatening human existence.In response to these concerns, the European Union enacted the world's first AI regulatory law, the Artificial Intelligence Act, in May 2024. Meanwhile, the United States issued an executive order in October 2023 to guide the safe development and dissemination of AI. The first AI Safety Summit, held in the UK in November 2023, marked a pivotal moment, fostering international collaboration to ensure AI safety. Specifically, the UK, the US, and Japan have agreed to establish AI Safety Institutes, develop frameworks for testing advanced AI safety, and cooperate on information exchange, personnel training, and standardization. Following the first AI Safety Summit in May 2024, the AI Seoul Summit, co-hosted by Korea and the UK, saw Korea committing to establishing an AI Safety Institute and expressing a strong intention to participate in international cooperation for AI safety with other major countries. As the role of the government in ensuring AI safety becomes increasingly important, the AI Safety Institute will focus on developing AI safety testing methods and frameworks, creating foundational technologies for AI safety, and promoting standardization. This will include policy research, private sector collaboration, and international exchanges. To introduce and utilize AI safely in society and industry without hindering private innovation, it is essential to define the functions and roles of the AI Safety Institute. This report examines the trends and initiatives of AI Safety Institutes in key countries, including the UK, the US, and Japan, and explores the potential roles of the Korean AI Safety Institute.