생성AI의 확산과 함께 인공지능 기술이 가진 잠재적 위험에 대한 우려가 고조되고 있다. 생성AI의 부정확성, 결과 해석을 어렵게 하는 블랙박스 모델과 같은 기술적 한계와 딥페이크, 사이버 공격 등 기술 오용으로 인한 사회적 피해에 대한 긴장이 높아지고 있다. 산학계의 인공지능 전문가들조차 인공지능이 인간이 이해할 수 없는 초지능으로 급속히 발전하면 자율 성장, 통제 상실 가능성이 높아져 인류의 실존을 위협할 수 있다고 경고한다. 이러한 상황에서 유럽연합은 2024년 5월 세계 최초로 인공지능 규제법인 인공지능법을 제정하였고, 미국은 2023년 10월 행정명령을 발동해 인공지능의 안전한 개발과 보급을 유도하고 있다. 2023년 11월 영국에서 세계 최초로 개최된 인공지능 안전성 정상회의는 인공지능 안전성 확보를 위한 국제 사회의 동참을 만들어 내는 계기가 되었다. 구체적으로 영국, 미국, 일본은 AI안전연구소를 설립하고, 첨단 AI의 안전성 테스트를 위한 프레임워크 개발과 정보, 인력 교류, 표준화에 상호 협력하기로 했다. 2024년 5월 제1차 인공지능 안전성 정상회의 후속으로 진행된 한국-영국 공동 주최 AI 서울 정상회의에서는 우리 정부도 AI 안전연구소 설립을 공식화하고 주요국과 함께 AI 안전성 확보를 위한 국제협력에 적극적 의지를 표명하였다. 향후 AI 안전 확보를 위한 정부의 역할이 더욱 중요해질 것으로 예상되는 가운데, AI 안전연구소는 AI 안전성 테스트 방법 및 프레임워크 개발, AI 안전성 확보를 위한 원천기술 개발 및 표준화, 그리고 이를 위한 정책연구와 민관협력, 국제 교류를 추진해 나갈 것으로 예상된다. 민간의 혁신을 저해하지 않고 사회와 산업에 안전한 인공지능을 도입·활용을 위해 AI안전연구소의 기능과 역할 정립이 요구되는 시점으로, 이 보고서에서는 영국, 미국, 일본 등 주요국의 AI안전연구소의 추진 동향을 살펴보고 국내 AI안전연구소의 역할을 모색한다. Executive Summary With the proliferation of generative AI, concerns about the potential risks of artificial intelligence technologies are mounting. The technical limitations of generative AI, such as hallucinations and black-box models that complicate result interpretation, along with the societal harm caused by the misuse of technologies like deepfakes and cyberattacks, are increasing tensions. AI experts in academia and industry warn that rapid advancements toward superintelligent AI, which humans cannot comprehend, may lead to autonomous growth and loss of control, potentially threatening human existence.In response to these concerns, the European Union enacted the world's first AI regulatory law, the Artificial Intelligence Act, in May 2024. Meanwhile, the United States issued an executive order in October 2023 to guide the safe development and dissemination of AI. The first AI Safety Summit, held in the UK in November 2023, marked a pivotal moment, fostering international collaboration to ensure AI safety. Specifically, the UK, the US, and Japan have agreed to establish AI Safety Institutes, develop frameworks for testing advanced AI safety, and cooperate on information exchange, personnel training, and standardization. Following the first AI Safety Summit in May 2024, the AI Seoul Summit, co-hosted by Korea and the UK, saw Korea committing to establishing an AI Safety Institute and expressing a strong intention to participate in international cooperation for AI safety with other major countries. As the role of the government in ensuring AI safety becomes increasingly important, the AI Safety Institute will focus on developing AI safety testing methods and frameworks, creating foundational technologies for AI safety, and promoting standardization. This will include policy research, private sector collaboration, and international exchanges. To introduce and utilize AI safely in society and industry without hindering private innovation, it is essential to define the functions and roles of the AI Safety Institute. This report examines the trends and initiatives of AI Safety Institutes in key countries, including the UK, the US, and Japan, and explores the potential roles of the Korean AI Safety Institute.

요약문 1. 제 목 : 산업 수요 중심의 국가 AI R&D 전략성 강화를 통한 AI 확산 방안 연구 2. 연구 목적 및 필요성 최근 인공지능(AI) 경쟁력이 국가 경제와 직결될 만큼 절대적 영향력을 가지게 되면서, 미국과 중국을 중심으로 한 글로벌 AI 기술패권 경쟁이 더욱 치열하게 전개되고 있다. 미국의 동맹국과의 연대를 통한 對중국 기술제재와 중국의 자체 AI 기술생태계 구축 노력이 동시에 전개되면서 양국 간 일대일 구도의 경쟁이 아닌 AI 기술 블록화와 맞물리는 진영 대결로 심화되고 있어, 기술적 자주성과 글로벌 리더십 확보를 도모하기 위해 국가 차원의 전략적 선택과 범국가적 역량의 집중이 요구되고 있다. 우리나라는 AI 기술수준 측면에서 중국에 이어 두 번째로 빠른 속도로 성장하여 현재 선진국들에 근접한 수준에 이르렀다. 그러나 생태계 측면에서는 AI 기술의 개발 및 공급이 크게 확대되고 있는 추세에도 불구하고, 시장(수요)에 해당하는 AI 응용·활용 수준이 다소 미흡한 상황이다. 여러 실태조사에서 기업들이 AI 도입의 가장 큰 걸림돌로 ‘기업 수요에 맞는 AI 기술 및 솔루션 부족’과 ‘맞춤식 AI 적용의 어려움’을 응답한 것으로 볼 때, 이러한 상황의 주요한 원인 중 하나가 바로 AI 기술 수요와 공급의 미스매치라고 판단된다. 즉, 우리나라 AI 기술생태계 자립성 확보의 선결조건인 AI 확산을 위해서는 산업에서의 활용도 있는 기술개발을 위한 정책적 노력이 필요함을 시사한다고 볼 수 있다. 한편, 글로벌 경기둔화와 고금리 기조 등의 영향으로 경제 불확실성이 증대됨에 따라, 우리나라 정부는 최근 이러한 경제위기 돌파와 더불어 그동안 끊임없이 지적되어왔던 국가 R&D 성과의 질적수준 정체 문제 해결이라는 시대적 요구에 부응하여 ‘R&D 혁신’을 추진하고 있다. 즉, 글로벌 AI 기술패권 경쟁에 능동적으로 대응하기 위하여 AI 기술경쟁력 강화와 산업 활용도 높은 기술개발을 통한 AI 확산을 도모해나가야 하는 동시에, 이를 ‘R&D 혁신’이라는 국가 전략에 부합하는 방향으로 추진해나가야 하는 상황이라는 것이다. 종합하면, AI 기술에 대한 국내 기업들의 인식·수요 현황을 객관적으로 확인하고, 산업 수요를 고려하여 국가 AI R&D 추진 방향을 전략적으로 수립·조정할 필요가 있다고 사료된다. 본 연구에서는 산업 활용도·수용성 중심의 국가 AI R&D 전략성 강화를 통한 AI 확산을 도모하는 정책 방안 및 제언을 제시한다. 본 연구를 통해 산업 수요에 부합하는 기술의 개발 및 공급을 통한 全 산업의 AI 융합·활용을 가속화하는 한편, R&D 성과 확산을 통한 국가 AI R&D 투자 및 정책의 효율성·효과성 제고를 도모하는 데 도움이 될 수 있는 기초자료를 마련하고자 하였다. 3. 연구의 구성 및 범위 본 연구에서는 먼저 AI 기술개발에 대한 정부의 투자 측면인 국가 R&D 현황을 분석하였다. 국가과학기술지식정보서비스(NTIS)에 등록된 AI 기술 관련 국가 R&D 과제 정보(2018년 1월 ~ 2023년 6월)를 수집하고, LDA 토픽모델링을 통해 AI 분야의 세부기술 영역(주제)별 국가 R&D 규모 현황을 도출하였다. 둘째, AI 기술에 대한 국내 기업의 인식 및 수요 조사결과를 살펴본다. 여기서 AI 기술은 국가 R&D 과제 정보를 활용한 토픽모델링을 통해 분류한 12가지 AI 세부기술 영역으로 설정하였다. 셋째, 국가 AI R&D 현황 및 AI 기술에 대한 국내 기업의 인식·수요 조사결과를 비교 분석하였다. 포트폴리오 분석 틀을 활용해 세부 AI 기술 영역별 국가 R&D 추진 현황을 진단하였다. 넷째, 본 연구의 결론으로서 산업 수요 중심의 국가 AI R&D 전략성 강화방안과 AI 확산 및 활용 고도화를 위한 정책 제언을 제시하였다. 4. 연구 내용 및 결과 첫째, 국가 AI R&D 추진현황을 분석하였다. 토픽모델링 분석을 통하여 AI 기술 관련 국가 R&D 과제 정보에 내포된 12개 토픽을 추출하였다. 정부연구비를 기준으로, 국가 AI R&D 과제의 연도별 규모는 증가 추세이며, ‘딥러닝 기반 이미지 분석 및 처리 기술’ 토픽 관련 과제의 규모가 가장 큰 것으로 나타났다. 정부연구비 규모를 기준으로 한 순위 변화를 보면, ‘객체 탐지 및 추적을 위한 비전 딥러닝 기술’과 ‘머신러닝 기반 데이터 보안 및 보호 기술’이 2018년 대비 가장 크게 순위가 상승한 토픽인 것으로 나타났다. 둘째, AI 기술에 대한 산업계 인식 및 수요 현황을 파악하기 위한 설문조사를 실시하였다. 현재 산업에서의 활용도에 대해 전체 기업이 긍정적으로 응답한 비중이 가장 높은 기술은 ‘딥러닝 기반 이미지 분석 및 처리 기술’이고, 그 다음으로 ‘생성형 인공지능기술’, ‘딥러닝 모델 알고리즘 및 성능 최적화’, ‘머신러닝 기반 데이터 보안 및 보호 기술’ 순으로 긍정 응답 비중이 높았다. 3년 이후의 예상 활용도가 높은 기술로는 ‘딥러닝 모델 알고리즘 및 성능 최적화’, ‘딥러닝 기반 이미지 분석 및 처리 기술’, ‘머신러닝 기반 데이터 보안 및 보호 기술’ 순으로 긍정적 응답이 많았다. 현재 기술별 활용도와 3년 이후의 예상 활용도 응답 결과를 비교하여 기업들이 예상하는 기술별 미래 활용도 변화를 추정해보면, 활용도 변화가 가장 클 것으로 예상되는 기술은 ‘강화학습 기술’과 ‘인공지능 신뢰성 기술’이다. 기술별 수용(도입) 의사에 대한 조사에서는 ‘딥러닝 기반 이미지 분석 및 처리 기술’, ‘머신러닝 기반 데이터 보안 및 보호 기술’, ‘딥러닝 모델 알고리즘 및 성능 최적화’ 순으로 긍정 응답 비중이 높았다. 기술별 개발 시급성 정도로는 ‘딥러닝 기반 이미지 분석 및 처리 기술’, ‘머신러닝 기반 데이터 보안 및 보호 기술’, ‘객체 감지 및 추적을 위한 비전 딥러닝 기술’ 순으로 높았다. 이 외에도 중소기업을 기준으로 한 응답 결과를 별도로 살펴보고, 주요 산업별로도 나누어 살펴보았다. 셋째, 앞서 살펴본 국가 AI R&D 현황과 AI 기술에 대한 국내 기업의 인식·수요 조사 결과를 비교분석하였다. 최근 3년 기간의 정부연구비 규모와 중소기업이 응답한 미래 활용도, 개발 시급성 정도, 기술 수용도(수용 의사)를 중심으로 비교한 결과, ‘인공지능 신뢰성 기술’은 산업계 인식 수준이 높은 데 비해 국가 R&D 규모가 상당히 부족한 것으로 나타났으며, 전략적으로 국가 R&D 투자를 대폭 확대하는 방향으로 정책 및 투자 방향을 조정할 필요가 있다고 사료된다. ‘생성형 인공지능 기술’, ‘그래프 분석 기반 진단 및 예측 기술’, ‘경로 탐색 및 모델 최적화’ 기술, ‘강화학습 기술’ 등의 경우에도 국가 R&D 투자 확대가 필요한 영역이라고 판단된다. 5. 결론 본 연구의 결론으로서 산업 수요 중심의 국가 AI R&D 전략성 강화를 위한 방안을 다음과 같이 제시하였다. 첫째, 산업 활용도·수용성을 고려해 전략적으로 AI 관련 정책 및 R&D 투자를 추진하는 것이다. 본 연구에서는 국가 AI R&D 현황과 산업계 인식·수요를 비교하는 포트폴리오 분석을 통해 ‘인공지능 신뢰성 기술’, ‘그래프 분석 기반 진단 및 예측 기술’, ‘생성형 인공지능 기술’, ‘경로 탐색 및 모델 최적화’ 기술, ‘강화학습 기술’ 등 산업 활용도·수용성 측면에서 높은 인식 수준을 보인 데 비해 국가 R&D 규모가 부족한 세부 AI 기술분야를 도출하였다. 이러한 결과를 활용하여, 전략적으로 해당 분야의 육성을 위해 국가 R&D 투자 확대 및 정책적 지원을 추진할 필요가 있다고 판단된다. 둘째, AI 정책 및 R&D 전략 수립 과정의 산업계 인식·수요 반영 체계를 강화하는 것이다. 글로벌 AI 기술패권 경쟁에 대응하기 위한 차원에서, AI 기술생태계 자립성 확보의 선결과제인 산업에서의 활용도 있는 기술 공급을 통한 AI 확산을 촉진하는 데 대한 실효성 있는 정책 및 R&D 투자전략이 마련되기 위해서는 산업계 기술 인식·수요에 대한 보다 충분한 정보와 이해가 필수적이다. 따라서 규모있는 조사를 통해 AI 기술에 대한 기업들의 인식 및 수요를 객관적으로 파악하는 것이 바람직해보인다. AI 기술 육성을 위한 정책 및 R&D 투자계획을 수립·조정하는 과정에서 AI 세부기술 영역별 중요성 정도 및 파급효과를 평가하는 요소로서 동 조사 결과를 활용함으로써 산업 활용도·수용성 측면의 전략성 제고를 도모할 필요가 있다. 아울러 AI 확산 및 활용 고도화를 위한 정책 제언을 다음과 같이 제시하였다. 첫째, AI 기술 응용·활용 성공사례를 발굴하여 적극 보급할 필요가 있다는 것이다. 전반적으로, 국내 산업계에서는 이들 AI 세부기술의 미래 활용도, 유용성, 시급성 등 측면에 대해서는 긍정적 응답이 많았으나, 현재 활용도와 기술 수용에 대한 긍정 응답 비중은 상대적으로 낮은 경향을 보였다. 이러한 결과는 국내 기업들이 기술 자체의 우수성과 잠재력에 대한 높은 인식을 가지고 있으나, 그에 비해 실제 비즈니스 현장에서의 활용 측면에 대해서는 인식 및 이해가 다소 낮은 상황임을 암시한다고 판단된다. 따라서 AI 기술 응용활용에 대한 인식 수준 제고를 지원하기 위해 AI 도입 효과에 대한 실증적 연구(결과), 그리고 산업별 또는 분야별로 기업들이 참조할 수 있는 AI 도입 성공 사례들을 발굴하여 보급할 필요가 있다. AI 기술 도입 및 사업화 관련 지원사업의 주요 성과를 기업들이 체감할 수 있도록 사례화하고 홍보하는 방안을 고려해 볼 수 있다. 단지 정부 지원사업의 성과로부터 발굴된 사례들 간 중복성이 발생하거나 다양성이 부족할 수 있는 바, 정부 지원 사업 성과조사의 범위를 넘어서서 다양한 국내·외 사례들을 확보하기 위해 관련 조사·연구에 대한 범정부적 지원을 추진해볼 필요도 있다고 사료된다. 둘째, 기술수요에 대응할 수 있는 정책의 유연성 및 시의성을 확보할 필요가 있다. 본 연구의 조사 결과에 따르면, 현재 활용도가 높은 AI 기술이 앞으로도 활용도가 높을 것이라 전망하는 산업 분야가 있는 반면, 그렇지 않은 산업 분야도 있었다. 즉, 특정 AI 기술의 현재 산업 활용도는 높지만 향후에는 활용도가 낮아지고, 반대로 현재 활용도가 낮은 기술이 앞으로는 중요하게 활용될 것으로 예상하는 산업 분야가 있다는 것이다. 이러한 결과는 국가 AI R&D 정책과 제도가 산업 환경의 변화 및 고도화에 따른 기술수요의 차별화·다양화에 유연하게 대응할 수 있도록 설계되어야 함을 시사한다. 오늘날 AI의 기술변화 속도가 어느 다른 분야보다 빠르다는 점에 대해 이견이 없을 것이다. 이러한 측면을 감안할 때, AI 관련 국가 정책은 산업 환경 및 수요에 대한 지속적인 모니터링과 피드백·조정을 통해 높은 수준의 유연성 및 시의성을 확보할 필요가 있다고 하겠다.

미국과 중국 간의 AI 기술패권 경쟁이 격화됨에 따라 주요 선진국들은 자립적 AI 기술생태계 확보의 중요성을 인식하고, 집중 투자 및 정책적 노력 강화를 추진하고 있다.(후략)