최근 몇 년간 인공지능(AI) 기술의 발전은 챗GPT의 출시 이후 거대 언어 모델(LLM) 개발 경쟁을 거치며 가속화되었다. 현재 공개된 AI 모델들의 성능은 특정 분야에서는 이미 인간의 능력을 뛰어넘었고, 이에 따라 활용 범위 또한 급격히 확장되었다. 특히 생성 AI를 기반으로 하는 범용 AI는 제조, 의료, 금융, 교육 등의 여러 산업 분야에서 활용되고 있다. 하지만, AI 기반의 서비스들이 다양한 이점을 제공하는 한편, 고성능 AI에 대한 접근성의 향상으로 인해 새로운 위험에 대한 우려 또한 증가했다. 이에 따라, 기존 AI 신뢰성, 책임성, 윤리 등의 논의와 더불어, ‘AI 안전’이 더욱 중요해졌다. 악의적인 사용, 오작동과 같은 위험들이 실제 피해까지 야기하고 있는 만큼, AI의 안전 확보를 위한 대응책 마련이 시급해진 상황이다. 앞으로 등장할 더 강력한 성능을 가진 프론티어 AI 모델은 의도치 않은 결과의 도출, 제어 불가, 사회적 악영향 등 여러 잠재적인 위험을 포함할 가능성이 높아, 규제와 지침 마련을 비롯하여 다양한 국제적 노력이 이루어지고 있다. 각 국의 정부, 기업 등 이해관계자들은 AI의 안전성을 확보하기 위해, 위험을 식별하여 평가 기준을 마련하고, 안전한 AI 개발 및 배포와 위험 대응책을 마련하기 위해 노력하고 있다. 최근 연구들에서는 사고 사례나 발생 가능한 시나리오에 따른 위험들을 분류하여 제시하고 있다. 하지만, 연구마다 다양한 위험 분류 체계를 제시하고 있어, 합의된 AI 안전 평가 체계를 마련하기에는 아직 더 많은 논의가 필요한 상황이다. 미국, 영국, 일본 등은 AI 시스템의 안전성 확보를 위해 AI 안전연구소를 통해 AI 안전 및 위험 연구, 위험성 평가, 안전한 AI 개발·구현을 위한 기준 마련 등의 기능을 수행 중이다. 대표적으로 AI 위험 관리 프레임워크(美), AI 안전에 관한 과학 보고서(英) 등을 통해 AI의 위험에 대한 대응 방안을 제시하고 있으며, 한국도 설립될 AI 안전연구소를 통해 AI 안전 수요에 대응할 예정이다. 본 보고서에서는 AI 안전과 관련된 개념을 정리하고, 최근 수행된 연구들이 제시하고 있는 AI 위험 유형 및 요인을 정리하여, 사례와 함께 분석함으로써 앞으로의 AI 위험 대응에 관한 정책적 시사점을 제공하고자 한다. Executive Summary Advancements in artificial intelligence (AI) technology have accelerated, particularly following the launch of ChatGPT, which has triggered a competitive race in the development of large language models (LLMs). The performance of currently available AI models has already surpassed human capabilities in certain domains, leading to a rapid expansion in their areas of application. General-purpose AI, especially those based on generative AI, is now being utilized across various industries, including manufacturing, healthcare, finance, and education. However, while AI-based services offer numerous benefits, the increased accessibility of high-performance AI has also raised concerns about new risks. As a result, alongside existing discussions on AI reliability, accountability, and ethics, "AI safety" has become an increasingly critical issue. Given that risks such as malicious use and malfunctions are already causing real harm, there is an urgent need for measures to ensure AI safety. Governments, corporations, and other stakeholders are working to ensure the safety of AI by identifying risk factors, establishing evaluation criteria, and developing measures for the safe development and deployment of AI, as well as for responding to potential risks. Recent studies have classified risk factors based on accident cases and possible scenarios. However, since each study presents different classification, further discussion is needed to establish a common AI safety evaluation framework. The United States, the United Kingdom, and Japan are addressing safety of AI through dedicated agency, which focus on AI risk research, risk assessments, and the development of standards for the safe creation and implementation of AI systems. Notable examples include the AI Risk Management Framework (USA) and the Science Report on AI Safety (UK), both of which propose strategies for addressing AI-related risks. Korea also plans to address AI safety demands through the establishment of its own AI safety institute. This report aims to organize the concepts related to AI safety, summarize the risk factors identified in recent studies, and analyze these factors along with real-world cases to offer policy implications for future AI risk response strategies.

생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 우려가 고조되고 있다. 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 긴장이 높아지고 있다. 산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이러한 상황에서 유럽연합은 2024년 5월 세계 최초로 인공지능 규제법인 인공지능법을 제정하였고, 미국은 2023년 10월 행정명령을 발동해 인공지능의 안전한 개발과 보급을 유도하고 있다. 2023년 11월 영국에서 세계 최초로 개최된 인공지능 안전성 정상회의는 인공지능 안전성 확보를 위한 국제 사회의 동참을 만들어 내는 계기가 되었다. 구체적으로 영국, 미국, 일본은 AI안전연구소를 설립하고, 첨단 AI의 안전성 테스트를 위한 프레임워크 개발과 정보, 인력 교류, 표준화에 상호 협력하기로 했다. 2024년 5월 제1차 인공지능 안전성 정상회의 후속으로 진행된 한국-영국 공동 주최 AI 서울 정상회의에서는 우리 정부도 AI 안전연구소 설립을 공식화하고 주요국과 함께 AI 안전성 확보를 위한 국제협력에 적극적 의지를 표명하였다. 향후 AI 안전 확보를 위한 정부의 역할이 더욱 중요해질 것으로 예상되는 가운데, AI 안전연구소는 AI 안전성 테스트 방법 및 프레임워크 개발, AI 안전성 확보를 위한 원천기술 개발 및 표준화, 그리고 이를 위한 정책연구와 민관협력, 국제 교류를 추진해 나갈 것으로 예상된다. 민간의 혁신을 저해하지 않고 사회와 산업에 안전한 인공지능을 도입·활용을 위해 AI안전연구소의 기능과 역할 정립이 요구되는 시점으로, 이 보고서에서는 영국, 미국, 일본 등 주요국의 AI안전연구소의 추진 동향을 살펴보고 국내 AI안전연구소의 역할을 모색한다. Executive Summary With the proliferation of generative AI, concerns about the potential risks of artificial intelligence technologies are mounting. The technical limitations of generative AI, such as hallucinations and black-box models that complicate result interpretation, along with the societal harm caused by the misuse of technologies like deepfakes and cyberattacks, are increasing tensions. AI experts in academia and industry warn that rapid advancements toward superintelligent AI, which humans cannot comprehend, may lead to autonomous growth and loss of control, potentially threatening human existence.In response to these concerns, the European Union enacted the world's first AI regulatory law, the Artificial Intelligence Act, in May 2024. Meanwhile, the United States issued an executive order in October 2023 to guide the safe development and dissemination of AI. The first AI Safety Summit, held in the UK in November 2023, marked a pivotal moment, fostering international collaboration to ensure AI safety. Specifically, the UK, the US, and Japan have agreed to establish AI Safety Institutes, develop frameworks for testing advanced AI safety, and cooperate on information exchange, personnel training, and standardization. Following the first AI Safety Summit in May 2024, the AI Seoul Summit, co-hosted by Korea and the UK, saw Korea committing to establishing an AI Safety Institute and expressing a strong intention to participate in international cooperation for AI safety with other major countries. As the role of the government in ensuring AI safety becomes increasingly important, the AI Safety Institute will focus on developing AI safety testing methods and frameworks, creating foundational technologies for AI safety, and promoting standardization. This will include policy research, private sector collaboration, and international exchanges. To introduce and utilize AI safely in society and industry without hindering private innovation, it is essential to define the functions and roles of the AI Safety Institute. This report examines the trends and initiatives of AI Safety Institutes in key countries, including the UK, the US, and Japan, and explores the potential roles of the Korean AI Safety Institute.

요약문 1. 제 목 : 글로벌 AI 신뢰성 동향 분석 2. 연구 목적 및 필요성 본 연구의 목적은 국내외의 AI 신뢰성 관련 동향 조사를 통해 최신 이슈를 파악 및 분석하여 정책적 시사점을 도출하고, 국내 정책 수립을 위한 기초 자료를 제공하는 데 있다. 인공지능 기술의 급격한 발전으로 국가사회 전반의 변화가 빠르게 이루어지면서, 현재 많은 산업 분야에서 AI 기술이 도입되고 일상 활용이 확산되고 있다. 하지만, AI 높은 효용성과는 반대로, 기술적 한계와 오남용 등으로 인해 환각, 편견과 차별을 야기하는 불공정, 개인정보 유출과 같은 문제가 대두되고 있다. AI 기술로 인한 위협으로부터 안전한 활용을 가능케하기 위해 AI 신뢰성을 확보하기 위한 노력들이 확산되고 있다. 세계 각국은 인공지능의 효용은 극대화하고 역기능 등은 최소화하기 위해 법제도적 기반과 통제방안 등을 마련하고 있고, 국제기관에서는 정책 보고서 및 신뢰할 수 있는 AI를 위한 지침들을 발표하고 있다. 기업들은 AI 시스템 개발에 있어 자체적인 원칙을 마련하거나 검증을 위한 방안을 수립하는 등 신뢰성을 고려한 전략을 추진하고 있다. 우리나라 또한 AI 국가 전략을 기반으로 다수의 전략과 실행 계획들을 발표하며 다양한 정책을 추진 중에 있는 만큼, 세계 주요국의 시의성 있는 동향을 파악하고 대응 할 필요가 있다. 3. 연구의 구성 및 범위 본 연구는 총 7개의 장으로 서론(1장)을 시작으로 주요국 AI 신뢰성 동향(2장), 국제기구(3장) 및 주요 기업동향(4장), 연구 및 표준 동향(5장)을 비롯하여 주요 AI 활용 산업별 동향(6장)과 시사점 및 결론(7장)으로 구성되어있다. 국내외 정부 및 국제기관 등의 언론, 공식 보도, 정책보고서와 같이 다양한 정보소스를 바탕으로 동향을 조사하여, △법제도 △기업/산업 △기술/연구 △인력/교육으로 이를 분류하였다. 본 연구에서는 한국을 포함하여 총 14개의 주요국을 다루고 있다. AI 관련 활동이 활발한 미국, EU, 영국, 중국, 일본, 캐나다를 포함하여 기타 주요국(독일, 프랑스, 호주, 스페인, 네덜란드, 싱가포르, 이스라엘)에 대한 동향을 바탕으로 국가별 AI 신뢰성 정책 동향을 기술한다. 산업별 AI 신뢰성 동향에서 고려하고 있는 산업은 크게 5가지로, AI의 도입이 활발한 △ICT △교육 △의료 △금융 △보안 산업에 해당한다. 기본적으로 2023년 이전의 정책적 흐름을 간략하게 다루고 있고, 주 조사 내용은 2023년 자료에 해당한다. 4. 연구 내용 및 결과 2017년부터 현재까지 50개국 이상에서 신뢰할 수 있는 AI를 위한 국가 전략 또는 정부 차원의 이니셔티브를 채택하였다. 이에 따라 국가 AI 정책 관리를 위해, 각 국 정부는 정부 조정기관, 위원회 설립 등을 통해 다양한 거버넌스 모델을 사용하고 있다. 현재 시의성 있는 동향 중 하나는 규제 정책이며, OECD AI 원칙과 국가 AI 전략 등을 바탕으로 규제 프레임워크를 만들고 있다. EU의 규제법안인 AI act는 2023년 말 합의가 된 만큼 추후 시행까지 동향을 추가적으로 파악할 필요가 있다. 대부분의 국가는 위험 기반의 규제 방식을 채택하고 있고, 고위험 AI에 대한 관리와 통제조치들을 집중적으로 다루고 있다. 우리나라의 AI 관련 입법안들은 AI 산업 발전을 위한 기반 마련에 초점을 맞추고 있고, 최근 들어 입법안에서 규제적 조치를 담고 있으나 아직 추가적인 논의가 필요한 상황이다. 세계적으로 AI의 신뢰성 확보가 더욱 중요해지고 있는 만큼, 주요국들은 적극적인 국가간 협력 체계를 구축하면서 다양한 논의를 진행하고 있다 OECD, UN, 유네스코 등은 꾸준히 인간 중심 접근방식에 중점을 두고 다양한 활동을 하고 있는데, OECD는 GPAI(Global Partnership on Artificial Intelligence), AI 거버넌스 작업반(AIGO) 등을 통한 국제 협력을 주도하고 있다. 이외에도 AI 책임성 향상에 관한 정책보고서, AI 규제 샌드박스 보고서 등 여러 정책 보고서 또한 발간하고 있다. G7 7개국은 히로시마 정상회담에서 히로시마 AI 프로세스를 출범하며 AI 국제 행동강령을 마련하였다. 이외에도 AI 안전 정상회의에서의 블레츨리 선언 등 대부분 생성 AI 기술 확산에 따른 위험성 증가에 대응하기 위한 움직임이 다수 존재하였으며, 국제 협력 규모가 더욱 확대되고 AI 거버넌스 등이 생기고 있는 추세다. 각 국 정부의 규제 움직임에 대해 기업 및 산업 부문에서는 과도한 규제에 우려하는 추세로, 기술 발전과 신뢰성 확보 측면에서 입장차가 존재한다. 명확한 규제가 존재하지 않는 현재, 기업들은 자율 규제 방식을 채택하고 최소한의 신뢰성 확보를 위해 개발 가이드라인이나 윤리 원칙 등을 수립하여 대응하고 있다. 향후 AI 서비스 및 SW 등에 인·검증이 본격적으로 전개될 것으로 예상되는데, 이와 관련한 국제 표준 선도에 대한 전략적 대응이 필요한 상황이며, 선제적 대응을 통해 이를 주도함으로써 선도적 입지 확보를 위한 투자가 필요할 것으로 보인다. 마지막으로 생성 AI 기술이 산업의 각 영역에 적용되고 혁신 도구로서의 가능성을 보여주고 있다. 특히 의료, 금융, 보안, 교육 등 분야에서 AI가 많이 활용되고는 있으나, 개인 및 사회에 영향력이 높은 만큼 엄격한 검증이 필요하다. 이에 도메인의 정제된 데이터를 이용해 생성 AI 기술의 신뢰성을 높이는 연구들이 진행되고 있음을 확인할 수 있었으며, 생성 AI의 잠재적 보안 취약성과 오남용으로 인한 피해에 대한 산업계의 면밀한 검토가 진행되고 있음을 파악하였다. 향후 다양한 산업 도메인과 영역에서 생성 AI 기술이 적용되기 위해서는 산업 특화된 데이터를 기반으로 생성 결과물의 신뢰성을 높이는 작업과 함께, 올바른 활용을 위한 지침과 규정이 보다 구체화될 것으로 예상된다. 5. 정책적 활용 내용 주요국의 AI 규제 입법안에서 위험을 통제하는 수단들은 데이터 관리, 위험 및 품질관리, 보안강화, 인간에 의한 통제조치, 투명성 확보와 이용자에 대한 정보제공 등으로 정리할 수 있다. 국가 및 기업들은 AI가 다루는 데이터의 방대함과 민감한 데이터의 사용 등에 따라 정보보안에 대한 요구사항이 많다. 시스템의 안정적 운영이나 오류를 방지하기 위해서도 정보보안이 강화되어야 하는데, 대부분의 법률안들은 사이버보안에 대해 특히 강조하고 있다. AI 시스템이 의도된 목적에 따라 적절한 수준의 정확성과 견고성, 사이버보안을 달성하고 수명주기 동안 일관되게 수행할 수 있도록 설계·개발될 것을 요구한다. 최근에는 AI 기술의 안전성에 초점을 맞춘 ‘AI 안전’이 더욱 중요해지고 있으며 다양한 가이드라인이 제안되고 있는 추세이다. 이외에도 EU 및 미국 등은 AI 시스템이 사용되는 동안 인간이 효과적으로 감독할 수 있도록 설계·개발되어야 하고, 시스템을 안전한 상태로 정지시킬 수 있도록 통제를 강조하고 있으며, 투명성을 확보할 것을 규정한다. 이를 위해 미국, 영국을 중심으로 AI안전, 신뢰를 확보하기 위한 거버넌스 체계도 정비되고 있다. 국가 최고지도자를 중심으로 인공지능 국가 전략을 수립 추진하고 있으며 관련해 AI안전연구소와 같은 전담연구조직을 설치해 기술 및 제도 기반 수립을 위한 연구에 힘을 싣고 있는 상황을 주시할 필요가 있다. 생성 AI의 기반이 되는 파운데이션 모델(foundation model)의 중요성이 커지는 만큼 이와 관련된 지침들이 추가적으로 정의되고 있다. 향후 생성 AI는 텍스트를 넘어, 다양한 이미지, 영상, 텍스트 정보들을 학습에 활용하고 다양한 형태의 결과물로 출력하는 이른 바 ‘네이티브 멀티모달’ 기술로 전개될 것으로 예상된다. 따라서 데이터, 콘텐츠 산업 전반에 있어 영향이 커질 것으로 예상되는 가운데 관련 지적재산권, 오남용으로 인한 사회적 피해와 혼란에 대한 선제적 대응이 필요하다. 일례로, 딥페이크와 같은 기술은 배포, 게시 금지와 같은 규제와 처벌 규정들이 도입되고 있다. 이처럼 앞으로의 AI 신뢰성 정책을 수립함에 있어, 생성 AI를 비롯하여 급격히 발전하고 있는 AI 기술을 포괄적으로 수용할 수 있는 기반을 마련해 둘 필요가 있다. 기술과 서비스 변화에 따라 AI 산업 전반에 관여하는 구성원 또는 참여자가 달라지는 환경을 고려하여 구성원 간 관계, 개별 구성원이 준수해야 하는 의무들에 대한 지속적 논의가 필요하다. 또한 주요국들은 빠르게 인공지능의 위험성을 통제하는 수단들을 고민하고 적극적으로 입법화를 시도하는 만큼, 우리나라도 신업 진흥 및 기술 발전 이외에도 국내 규제 법안 마련에도 집중할 필요가 있다. 산업 및 시장 구조와 환경 변화에 대응하는 규제조치를 포함하여 데이터 관리와 차별 방지 의무화, 품질관리와 위험관리, 사이버보안과 회복력 확보, 인간에 의한 통제가능성 확보, 기술문서 작성과 기록관리 의무, 사용자 권리 보장과 국가의 감독기능 강화 등 다양한 규제수단들이 매우 구체적으로 제시되고 있는 만큼 적극적으로 이러한 조치들을 참조할 수 있을 것으로 판단된다. 6. 기대효과 본 연구에서는 국내외의 주요 AI 신뢰성 정책 사례를 조사하고 다양한 관점에서 이를 분석하였다. 법제도, 기업 및 산업, 기술 및 연구, 인력 및 교육 분야로 구분하여 넓은 범위에서 시의성 있는 사례들을 포함하여 의미 있는 움직임들을 파악할 수 있다. 또한 분석을 통해 현재 주요국의 규제에 대한 움직임, 기업들의 대응 방법, 주요 AI 활용 산업 분야에서의 신뢰성 이슈 등에서 시사점을 도출하여 방향성을 제시하고 있다. 이러한 국가별, 산업별 정책 현황 자료 및 분석 결과는 앞으로의 새로운 국내 AI 신뢰성 정책 수립에 있어 참고 자료로서 활용 될 수 있을 것으로 기대된다.

미국과 중국 간의 AI 기술패권 경쟁이 격화됨에 따라 주요 선진국들은 자립적 AI 기술생태계 확보의 중요성을 인식하고, 집중 투자 및 정책적 노력 강화를 추진하고 있다.(후략)

인공지능의 확산은 인공지능 윤리 및 신뢰성 이슈를 발생시키며 사회적 문제를 야기하였다. 이에 국내외 정부 및 기업, 국제 기관, 학계 등 전방위적으로 대응 정책을 마련중에 있다. 국내외 주요 정부와 국제 기관 등에서는 윤리적 인공지능 및 신뢰할 수 있는 인공지능 개발을 위한 권고안, 정책 보고서를 발간하고 있으며 주요 기업들 또한 신뢰할 수 있는 인공지능 개발을 위하여 기업 윤리 원칙 수립과 신뢰성 검증 도구 등의 개발을 촉진하고 있는 상황이다. 국내 또한 인공지능 신뢰성 확보를 위해 신뢰할 만한 인공지능 실현 전략 등을 추진하고 있다. 이렇듯 시의성 있는 정책 대응 방안 마련이 필요한 시점에서 인공지능 신뢰성 확보를 위한 국내외 정책 동향을 조사하고 분석하여 국내 인공지능 정책 고도화를 위한 시사점을 제공하고자 한다. (후략)

탈 중앙화와 익명의 개인간 거래를 선언한 블록체인이 도입된 지 10여 년이 지났다. 하지만 여전히 일반인에게는 블록체인의 개념과 기술이 생소한 것 같다. 암호화폐와의 관계 역시 아직 명확하게 분리되고 있는 것 같지 않다. 물론 블록체인 기술이 소개된 것이 비트코인에 의한 것이었고, 따라서 암호화폐의 기반 기술로 사용된 것은 사실이다. (후략)

• 일시 :2021.04.29.(목), 15:00 ~ 16:50
• 온라인 주소 : www.youtube.com/channel/UCwCxw3tf1yd3Eu5l9dC_7eg

• 일시 :2021.04.29.(목), 15:00 ~ 16:50
• 온라인 주소 : https://www.onoffmix.com/event/236256

과학기술정책 설계, 집행 및 평가 과정의 근본적인 혁신을 통해 국가지식생태계를 확립해야 함
* 창의성은 근원적으로 올바른 윤리에서 비롯됨: 윤리→신뢰→자율성→창의성
* 힘 중심 → 합리성 중심, 특정 사람 중심 → 시스템 중심, 정부 주도 → 민간 주도