ISSUE REPORT l 2025.12.29 IS-218           

인공지능 혁명의 숨은 동력, 

소프트웨어의 역할과 함의

Hidden Engine of the AI Revolution: The Role of Software 

and Policy Implications

유재흥, 김지민, 안성원, 권영환, 조원영 

이 보고서는 ｢과학기술정보통신부 정보통신진흥기금｣에서 지원받아 제작한 것으로 

과학기술정보통신부의 공식의견과 다를 수 있습니다.

이 보고서의 내용은 연구진의 개인 견해이며, 본 보고서와 관련한 의문 사항 또는 수정·보완할 

필요가 있는 경우에는 아래 연락처로 연락해 주시기 바랍니다.

소프트웨어정책연구소 AI정책연구실

유재흥 책임연구원 jayoo@spri.kr

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

  CONTENT

    

Ⅰ. 서론 

1

Ⅱ. AI 정의 및 AI 개발 생애주기

3

 2.1 SW와 AI의 정의

3

 2.2 AI 개발 생애 주기(lifecycle)

4

Ⅲ. AI 생애주기 단계별 SW의 역할

6

 3.1 데이터 수집: 양질의 데이터 획득과 정제를 위한 SW

6

 3.2 데이터 전처리: 정제, 변환, 특성 공학을 위한 SW

8

 3.3 모델 개발 및 학습: AI 알고리즘 구현을 위한 SW프레임워크

12

 3.4 모델 최적화: 효율적 추론을 위한 모델 경량화 및 변환 SW

15

 3.5 모델 추론: 실시간 예측을 위한 서빙 SW

17

 3.6 운영 및 배포: AI 모델의 제품화와 MLOps를 지원하는 SW

21

 3.7 애플리케이션 개발 및 통합: AI 기능을 서비스로 만드는 SW

24

Ⅳ. 요약 및 시사

28

참고문헌

35

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

요 약 문

인공지능(AI)은 전 세계 경제, 산업, 사회를 재편하는 핵심 동력으로 부상하고 있다. 

그간 컴퓨팅 성능과 데이터 저장 능력 등 하드웨어 발전이 주로 조명되어 왔지만, AI 

혁신을 실질적으로 가능하게 만드는 소프트웨어의 역할은 상대적으로 덜 주목받아 

왔다.

그러나, 소프트웨어는 복잡한 알고리즘을 구현하는 수준을 넘어, AI 기술의 효율성, 

확장성, 접근성 등을 좌우하는 기반이다. 고급 소프트웨어 프레임워크와 프로그래밍 

언어는 개발자와 연구자가 정교한 AI 모델을 신속하게 개발하고 개선 및 배포하도록 

지원한다. 현대의 인공지능은 방대한 데이터의 수집, 처리, 그리고 고성능 컴퓨팅 

자원을 활용한 연산에 기반하고 있다. AI 모델은 다양한 응용 애플리케이션의 

엔진으로 여러 AI 서비스와 제품의 근간이 된다. 즉, 소프트웨어가 AI를 만들고, AI는 

다시 소프트웨어의 가치를 높이는 동반 성장이 진행중이다.

이러한 소프트웨어의 근본적 중요성은 분명한 정책적 함의를 갖는다. 하드웨어 

인프라나 데이터에 대한 투자만으로는 충분치 않으며, 오픈소스 소프트웨어 생태계, 

표준화와 상호운용성, 견고한 소프트웨어 보안 프레임워크 등과 같은 전략적 지원이 

병행되어야 한다. 더불어 소프트웨어와 인공지능의 통합적 교육과 인력 양성, 기술 

개발, 국제 협력을 촉진하는 정책은 장기적인 AI 경쟁력과 포용적 성장을 뒷받침하는 

핵심 수단이 될 것이다. 결국 ‘소프트웨어 생태계의 경쟁력이 곧 AI 경쟁력’이라는 

인식을 바탕으로 AI 정책 전반을 설계하고 수행할 필요가 있다.

이 보고서에서는 AI의 개발 생애주기 단계별로 저변에서 활용되는 소프트웨어의 

역할과 사례를 살펴보고, AI 생태계를 견실화하기 위한 SW 정책을 짚어보고자 한다.

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

Executive Summary 

Artificial intelligence (AI) is emerging as a core driver reshaping the 

global economy, industry, and society. While advancements in hardware—

such as computing power and data storage capacity—have received 

considerable attention, the role of software in making AI innovation 

practically feasible has been relatively underexplored.

However, software extends far beyond the mere implementation of 

complex algorithms; it constitutes the foundation that determines the 

efficiency, scalability, and accessibility of AI technologies. Advanced software 

frameworks and programming languages enable developers and researchers 

to rapidly design, refine, and deploy sophisticated AI models. Contemporary 

AI systems rely on the large-scale collection and processing of data, as well 

as intensive computation leveraging high-performance computing resources. 

AI models function as the core engines of diverse applications, forming the 

backbone of a wide range of AI services and products. In this sense, 

software enables the creation of AI, while AI, in turn, amplifies the value of 

software—illustrating a process of mutual and reinforcing growth.

The fundamental importance of software carries clear policy 

implications. Investment in hardware infrastructure or data alone is 

insufficient; it must be accompanied by strategic support for areas such as 

open-source software ecosystems, standardization and interoperability, and 

robust software security frameworks. Furthermore, policies that promote 

integrated education and workforce development in software and AI, 

technological innovation, and international cooperation will serve as critical 

instruments for sustaining long-term AI competitiveness and fostering 

inclusive growth. Ultimately, AI policy should be designed and implemented 

based on the recognition that the competitiveness of the software 

ecosystem directly translates into the competitiveness of AI.

This report examines the roles and illustrative cases of software 

underpinning each stage of the AI development lifecycle and explores 

software policy directions aimed at strengthening the overall AI ecosystem.

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

1

1)

 https://www.investopedia.com/magnificent-seven-stocks-8402262 (2025.5.9)

2)

https://www.visualcapitalist.com/cp/charted-the-surging-value-of-magnificent-seven-2000-2024/ 

(2024.8.14.)

I. 서론

□

연구 배경

◦

최근 몇 년간 인공지능(이하 AI) 기술은 비약적으로 발전하여 산업과 사회 

전반에 걸쳐 깊은 영향을 미치는 중

–

2022년 챗GPT 등장 이후 전세계적으로 인공지능 열풍이 불어닥치며, 

글로벌 경제가 인공지능을 중심으로 재편 중

–

소위 매그니피션7*이라 불리는 미국의 AI 빅테크 기업들이 세계 시총의 

상단을 차지하고 있으며, AI에 막대한 투자를 진행 중

*

MAGNIFICIENT 7: Meta, Amazon, Google(Alphabet), Nvidia, Microsoft, 

Apple, Tesla를 나타내며 이 중 엔비디아 시총은 5년 새 15배 이상 성장해 5조 

달러를 달성(2025.10.29.)

[그림 1-1] 미국 AI 빅테크의 시가 총액 증가 추이

*

자료: Investopedia1), VisualCapitalist.com2)

–

美·中은 AI를 국가전략 기술로 지정하여 기술 패권 경쟁 중이며 글로벌 

국가들도 소버린 AI 전략을 수립하여 글로벌 AI 생존 경쟁에 참여 중

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

2

3)

 Kaplan et al.,(2020.1.23.), Scaling Laws for Neural Language Models

◦

AI 기술이 주는 시대적 기회를 잡기 위해 더 나은 AI모델 개발과 이를 위한 

컴퓨팅 인프라를 중심으로 한 막대한 투자가 진행 중

–

AI의 성능이 AI 인프라 규모에 비례하여 높아진다는 이른바 Scaling law가 

확인되면서 자본력 있는 빅테크를 중심으로 대규모 투자가 이뤄지고 있음

*

오픈AI의 Kaplan et al.(2020)의 연구에서 GPT의 성능이 모델 파라미터, 학습 

데이터양, 컴퓨팅 자원 규모에 비례하여 향상됨을 보임3)

–

아울러, 국가 차원에서 AI 경쟁력 확보를 위한 대규모 GPU 구매 등 AI 

데이터 센터와 이에 필요한 전력 인프라 확보에 집중적 투자

◦

이러한 상황에서 ‘실현 기술(Enabling technology)*’로서 소프트웨어 

기술에 대한 중요성은 상대적으로 조명받지 못했음

*

산업 및 사회 분야에서 광범위하게 적용되어 발전과 혁신을 촉발하는 기술

–

사실상, AI 모델, 인프라의 최적화 운영 등 현재의 AI를 가능하게 한 것은 

실현 기술로서 끊임없이 고도화되어 온 소프트웨어 기술이 바탕

–

향후 인공지능의 경쟁력은 하드웨어와 함께 소프트웨어 기술의 상보적 

관계를 얼마나 효과적으로 만들어 가는지에 따라 판가름 될 수 있음

□

보고서 목적 및 내용

◦

이 보고서에서는 AI를 실현시키는 기술로서 SW의 역할을 분석하고 

재조명함으로써 AI·SW의 상보적 동반 성장을 바탕으로 AI 시대의 기술 

주도권 확보를 위한 정책적 시사점을 모색하고자 함

–

구체적으로 AI 개발 생애주기* 단계별로 SW가 맡고 있는 중심적 역할을 

살펴보고, SW 생태계 육성의 정책적 함의를 도출하고자 함

*

데이터 수집에서부터 전처리, 모델 학습, 최적화, 추론, 배포, 그리고 최종 

애플리케이션 개발에 이르기까지 전 과정을 포함함

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

3

Ⅱ. AI 정의 및 AI 생애주기

1. 정의

□

소프트웨어(SW)와 인공지능(AI)의 정의

◦

지금까지 디지털 기술은 SW와 하드웨어(이하 HW) 기술에 초점을 맞춰 

왔으며, AI는 SW의 지능화 및 자동화에 초점을 둔 개념으로 이해되어 옴

◦

2010년부터 기계학습, 딥러닝 기술이 재조명 받으며 소프트웨어 중심의 

디지털 대전환이 “인공지능” 중심으로 변화하기 시작함

–

아울러, “SW는 AI”, 또는 “AI는 SW”란 용어가 혼재되어 사용되면서 

디지털 전환의 실현 기술로서 소프트웨어의 역할이 희석

*

“SW가 세상을 집어삼키고 있다 (마트 앤드리슨, 2011)”. → “AI가 SW를 

집어삼키고 있다(젠슨 황, 2017)“

◦

하지만, AI와 SW는 구분되는 개념으로 AI는 SW의 부분으로 간주 됨

–

일반적으로 소프트웨어(SW)는 컴퓨터 프로그램(코드)·절차·관련 데이터 및 

문서의 집합을 의미하는 것으로 ‘인공지능’은 작업의 지능화, 자동화에 

초점을 둔 SW로 이해할 수 있음

–

최근의 인공지능(AI)은 고도의 생성 AI 기반 모델을 의미하거나 이러한 

모델을 바탕으로 다양한 생성 작업, 예측, 추론, 판별을 지원하는 AI 

시스템을 의미한다고 볼 수 있음

◦

AI 기반 모델이나 AI 시스템은 그 자체로 소프트웨어의 개념에 포함되거나 

소프트웨어를 핵심적 요소로 수반하는 개념

–

AI 모델은 데이터를 통해 학습된 파라미터(가중치)와 구조(아키텍처)를 

핵심으로 실행과 통합을 위한 코드, 제어 데이터, 관련 문서를 포함하는 

SW

–

AI 시스템은 명시적(Explicit) 또는 암묵적(Implicit) 목적으로 수집된 

데이터를 기반하여 예측, 판단, 제어 등 다양한 형태의 출력을 도출하는 

방식을 구현한 기계 기반 시스템4)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

4

4)

 OECD는 복잡하고 다양해지는 AI에 대한 명확한 개념을 정립하기 위해 AI 권고안에서 AI 시스템 정의를 

2024년 개정 발표

5)

 OECD(2025.8.10.), What is AI? Can you make a clear distinction between AI and non-AI 

systems?, https://oecd.ai/en/wonk/definition

6)

 AI는 컴퓨터와 기계가 인간의 학습, 이해, 문제 해결, 의사 결정, 창의성 및 자율성을 시뮬레이션할 수 있도록 

하는 기술 (IBM), https://www.ibm.com/kr-ko/think/topics/artificial-intelligence

7)

 OECD(2024.3.5.), 인공지능 시스템 정의 개정

8)

 https://aws.amazon.com/ko/what-is/artificial-intelligence/ (2025.11.27. 기준)

*

AI 시스템은 데이터와 입력, AI 모델, 출력으로 구성되어 있으며 각각의 AI 

시스템은 배포 후 자율성과 적응성 수준이 각자 다름5) 

구 분

개  념

소프트

웨어

●

컴퓨터 프로그램(코드)·절차·관련 데이터/문서의 집합 (ISO)

●

일련의 명령어와 데이터로 구성되어 컴퓨터 하드웨어에서 특정 기능을 수행하는 프로그램 및 

절차의 집합

●

소프트웨어는 “코드 + 절차 + 데이터/문서”의 포괄 개념

  * (예) 운영체제, 시스템SW, 데이터베이스, 미들웨어, 애플리케이션 등

인

공

지

능

6)

AI

시

스

템

●

인공지능 시스템(AI System)은 인간이 명시적으로 또는 암묵적으로 제시한 목표에 

대해 예측, 추천, 결정과 같은 결과물을 '추론'하는 기계 기반 시스템(OECD,2024)7)

  ※ 이러한 AI 시스템 구현을 위해 머신러닝 플랫폼, AI추론 엔진, AI모델 개발 도구 등이 활용

●

AI 시스템*은 하드웨어를 포함할 수 있으나 인간 지능의 여러 요소(학습, 추론, 문제 

해결, 언어 이해 등)를 SW 형태로 실현하거나 시뮬레이션하는 컴퓨터 프로그램을 

의미하는 응용 인공지능(AI) 소프트웨어*도 포함8)

  ※ (예) 음성인식‧자동번역‧영상판독‧이미지생성 시스템, 챗봇, 추천시스템, 자율주행시스템 등

AI

모

델

●

AI 모델이란 데이터에 하나 이상의 알고리즘을 적용하여 특정 패턴을 인식하고, 예측, 

생성 또는 결정을 내리는 프로그램

●

대규모 데이터로 학습된 결과물로, 입력 데이터를 바탕으로 자동으로 결론 도출 및 

행동 수행에 영향을 주는 파라미터(가중치)와 실행 및 제어를 위한 코드, 데이터 등이 포

함된 프로그램(파일)

  * (예) GPT-5, Claude 4, LLaMA 4, ExaOne 4.5, DeepSeek-R1, OpenAi/oss-120b, 

Mistral-8B-Instrcut-2410, Gemma-3n-E4B-it 등

*

자료 : SPRi 재구성(2025)

[표 2-1] 소프트웨어와 인공지능 개념 구분

2. AI 개발 생애주기(Lifecycle)

□

AI 개발 생애주기와 SW

◦

데이터의 수집과 처리, 학습의 결과물로서 AI 모델, 그리고 AI 모델을 

기반으로 다양한 지능적 기능을 수행하는 AI 시스템은 일련의 개발 라이프 

사이클 안에서 구현되어 짐

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

5

9)

 OECD(2019.), Recommendation of the Council on Artificial Intelligence, OECD/LEGAL/0449

◦

그리고 라이프 사이클 단계에서 작업의 효율화, 안정화, 안전·신뢰 확보를 

위해 소프트웨어 엔지니어링이 필수적으로 수반 됨

◦

즉, AI의 완성도를 높이기 위해서는 각 단계에 적합한 소프트웨어가 

사용되며 소프트웨어의 성능은 전체적인 AI의 완성도에 영향을 미침

◦

다음 절에서는 일반적인 AI 개발 생애주기를 토대로 단계별 SW의 역할과 

사례를 살펴봄

□

AI 시스템 생애주기

◦

OECD는 2019년 AI 시스템을 처음 정의할 당시, AI 시스템 생애주기도 

다음과 같이 정의하였음9)

–

AI 시스템 생애주기는 ①개발 계획 및 설계, ②데이터 수집과 처리, ③모델 

구축 및 조정, ④테스트/평가/검증, ⑤사용을 위한 배포, ⑥운영과 모니터링, 

⑦폐기 및 해체로 구분할 수 있음

–

하지만, 이러한 생애주기는 일반적인 구분으로 각 단계는 연속적이지 않을 수 

있으며 조정 가능

–

AI 모델을 중심으로 생애주기를 고려하면, AI 모델 개발과 배포 후 이를 

활용한 다양한 애플리케이션의 개발과 통합이라는 단계를 포함할 수 있음

[그림 2-2] OECD의 AI 시스템 생애주기

*

자료: OECD(2025)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

6

□

AI 개발 생애주기별 SW의 역할

◦

이 보고서에는 AI 개발 생애주기를 ①데이터 수집 → ②데이터 전처리 및 

준비 → ③모델 개발 및 학습 → ④모델 최적화 → ⑤모델 추론(Inference) 

→ ⑥배포 및 운영 → ⑦애플리케이션 개발로 구분하여 설명

–

AI 개발 생애주기 단계별로 주요 태스크들을 정의하고, 그에 해당하는 

대표적 SW의 역할을 살펴보면 아래와 같이 요약할 수 있음

[그림 2-3] AI 개발 생애주기(Life Cycle)과 주요 태스크

1단계

2단계

3단계

4단계

5단계

6단계

7단계

수집

전처리

학습

최적화

추론

배포

앱 개발

태

스

크

·수집

·저장/적재

·분산처리

·클라우드 

인프라 활용

▶

·품질관리

·전처리

·임베딩

·자동화

·라벨링

·피처 

엔지니어링

▶

·학습

·가속화

·자동화

▶

·모델 최적화

·형식변환

·경량화

·하드웨어 

최적화

▶

·서빙

·클라우드 기반 

추론

·지연 최적화

·엣지 추론

▶

·MLOps 구축

·컨테이너 기반 

실행환경

·자동배포 

파이프라인

·모델 모니터링

·인프라 운용

▶

·라이브러리

·SDK

·API

·플러그인 연동

·LLM 기반 앱 

개발

·사용자 UX 구성

*

자료: SPRi 재구성(2025)

III. AI 생애주기 단계별 SW의 역할

□

(1단계) 데이터 수집: 양질의 데이터 획득과 정제를 위한 SW

◦

(수집) AI 모델 학습에 필요한 다양한 형식의 대량 데이터를 다양한 

소스로부터 배치 또는 실시간 방식으로 수집·획득하는 작업

–

이 단계에서 SW가 데이터베이스, 파일, API, 로그, 센서 등 다중 소스에서 

이종 데이터를 효율적으로 확보하고 수집 과정을 자동화하는 역할 수행* 

*

Scrapy와 같은 파이썬 크롤링 프레임워크를 활용해 대량의 웹 데이터를 자동 

수집하거나, Apache Nifi나 Kafka 스트리밍 플랫폼을 활용해 실시간 데이터 

스트림(예: IoT 센서 데이터, 소셜 미디어 피드) 수집할 수 있음

–

이러한 도구의 조합으로 ETL(추출-변환-적재) 파이프라인을 구축하여 

원천 데이터가 지속적으로 수집되는 데이터 레이크를 구현하도록 지원

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

7

10)

 Market Research Future(2025.8.),https://www.marketresearchfuture.com/ko/reports/vector-database-market-32105

11)

 프레임워크는 SW를 쉽고 빠르게 만들 수 있도록 미리 만들어진 구조와 도구 세트로 골조가 지어진 집으로 

비유할 수 있으며 개발자는 소프트웨어 개발도구(SDK), 라이브러리를 통해 원하는 프로그램을 작성할 수 있음

12)

 오브젝트 스토리지는 데이터의 형식에 구애받지 않고, 각 데이터를 고유한 객체 단위로 저장·관리하는 기술

◦

(저장/적재) 수집된 데이터는 데이터베이스(DB)에 저장

–

관계형 데이터베이스(Relational DB)는 주로 정형 데이터를 저장하고 

관리하는 데 사용되며, 대표적인 시스템으로는 상용 제품으로는 

오라클(Oracle), 오픈소스로는 MySQL, PostgreSQL 등이 널리 활용

–

비관계형(NoSQL) DB는 비정형 데이터를 보다 유연하게 저장할 수 

있으며, 대용량의 비정형 데이터를 빠르고 효율적으로 처리*

*

(상용) AWS DynamoDB (오픈소스) MongoDB, Cassandra 등이 대표적

–

특히 AI 모델 개발에서는 텍스트 및 이미지의 임베딩(Embedding)을 통해 

생성되는 벡터 데이터를 다루는 경우가 많으며, 벡터 형식에 특화된 벡터 

데이터베이스(Vector DB)의 활용도 증가* 

*

벡터DB 시장은 2023년 12.8억달러 규모에서 2032년 50억달러 규모 예상10), 

(상용) Pinecone, (오픈소스) Weaviate, Qdrant 등 스타트업도 성장 중

◦

(분산처리) 방대한 양의 AI 학습 데이터를 처리하기 위해 분산 환경에서 

병렬 처리를 지원하는 SW가 활용

–

대규모 데이터를 효율적으로 저장·처리하는 데 최적화하는데 아파치 

하둡(Apache Hadoop)과 아파치 스파크(Apache Spark) 등 대용량 

데이터 분산 처리 오픈소스 프레임워크*11)가 활용

◦

(클라우드 인프라) AI 개발에 필요한 대규모 데이터를 효율적으로 

저장·관리·활용하기 위해서 클라우드 기반 인프라와 관련 SW가 적극 활용

–

클라우드 환경에서는 MS-Azure, GCP, AWS S3와 같은 상용 오브젝트 

스토리지12)나 데이터 레이크 솔루션이 방대한 양의 데이터 자산을 

모아두는 중심 저장소 역할

*

프라이빗 클라우드 구축 시 오픈소스 IaaS 프레임워크인 ‘오픈스택’ 활용이 보편적

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

8

–

이러한 클라우드 인프라 SW는 정형/비정형 데이터를 통합하고, 이를 AI 

학습에 최적화된 데이터 자산으로 전환하는 데 있어 핵심적인 기반 도구

<사례> 데이터 수집 및 저장 지원 SW

<자율주행차 사례>

 - 차량에 장착된 카메라, LiDAR 센서로부터 초당 수십 MB에 달하는 데이터가 생성

 - 이를 Robotic Operating System (ROS) 등의 소프트웨어를 통해 수집하고, 클라우드 

데이터베이스에 축적하여 딥러닝 훈련용으로 사용

 - AWS IoT 플릿와이즈(AWS IoT Fleetwise)는 자동차 제조사를 위한 차량 데이터 수집 

및 체계화 SW 서비스(SaaS)

 - 플릿와이즈의 지능형 데이터 수집 기능을 사용하면 차량 데이터를 실시간에 가깝게 

클라우드로 전송 가능

□

(2단계) 데이터 전처리: 정제, 변환, 특성 공학을 위한 SW

◦

수집된 원시 데이터(Raw data)를 AI 모델 학습에 활용하기 위해서는 품질 

향상, 임베딩, 라벨링 같은 전처리(Preprocessing) 단계를 거쳐야 함

◦

(품질관리) 데이터 전처리 과정에서 핵심 단계 중 하나는 데이터의 품질을 

진단하고 관리하는 것이며, 이를 위해 데이터 품질 관리(DQ) SW가 활용

–

정형 데이터의 경우, 값 오류, 형식 불일치, 결측치 등의 품질 문제를 진단 

및 처리하는 작업이 필요

–

이를 위해 품질관리 SW는 DB 프로파일링을 통해 현재 상태를 파악하고, 

품질 문제를 식별 및 개선할 수 있도록 지원

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

9

13)

 https://airflow.apache.org/docs/apache-airflow/stable/index.html#what-is-airflow 

–

지속적인 모니터링 기능을 통해 데이터 품질의 주기적 관리 체계를 제공

–

특히 AI 개발 환경에서는 비정형 데이터와 멀티모달 활용 비중이 커, 여러 

형식의 데이터를 지원하는 범용적이고 확장 가능한 품질 관리 SW가 필요

◦

(전처리) 데이터 전처리 단계에서는 스크립트 언어와 핵심 SW 라이브러리를 

활용하여 데이터를 정제, 변환, 가공하는 작업을 수행

–

데이터 전처리에서는 빠른 실행과 수정의 반복 용이성 때문에, 유연하고 

직관적인 파이썬, R과 같은 인터프리터 기반 스크립트 언어가 주로 사용* 

*

(예) Python에는 Pandas와 NumPy 같은 라이브러리가 있어 데이터 정제와 

변환을 수행하는데 용이하고 Pandas의 데이터프레임(DataFrame)은 표 형식 

데이터를 다루는 사실상의 표준 역할

◦

(임베딩) 텍스트 임베딩을 포함한 다양한 임베딩 작업은 비정형 데이터를 

의미 기반의 벡터로 변환하는 과정으로 다양한 SW 도구가 활용

–

AI 데이터 전처리 과정에서 핵심 작업 중 하나는 고차원 의미 정보를 수치 

벡터로 변환하는 임베딩이며, 이는 언어모델의 성능과 표현력에 매우 중요

–

오픈소스 플랫폼(Hugging Face 등)의 임베딩 특화 모델이나, OpenAI, 

Gemini Embedding과 같은 상용 API 기반 임베딩 서비스를 활용

◦

(자동화) 전처리 단계는 단발성이 아니라 새로운 데이터가 들어올 때마다 

반복 실행되어야 하므로, 파이프라인을 자동화하는 것이 중요

–

이를 위해 워크플로우 오케스트레이션, 이벤트 기반 처리, 데이터 플랫폼 

내장 기능 등 다양한 방식의 자동화가 활용*

*

(상용) Databricks Workflows, Azure Data Factory 등 (오픈소스) 주로 

Apache Airflow13)를 이용해 데이터 추출→정제→적재의 과정을 정기적 실행

◦

(라벨링) 전처리 단계에서는 지도학습에서 사용되는 정답 데이터(라벨, 

어노테이션 등)를 생성 및 관리하는 데이터 라벨링 SW를 활용

–

데이터 라벨링은 텍스트, 이미지, 오디오 등 다양한 형태의 비정형 

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

10

14)

 피처 엔지니어링은 원천 데이터를 가공·변환·추출하여 모델이 학습하기 좋은 형태의 피처를 만드는 과정, 피처 

스토어는 한 번 만든 피처를 재사용하고 일관성 있게 관리하기 위한 저장소로, 오프라인 모드(훈련용 대량 

데이터)와 온라인 모드(실시간 추론용 저지연 데이터)로 나뉨

데이터의 정답 데이터를 부여하는 작업으로 학습 성능에 직접적인 영향

–

학습 데이터가 클수록 데이터 라벨링 작업을 체계화하고 대규모로 수행하기 

위해 전용 라벨링 SW*를 활용 

*

 (예) (오픈소스) Label Studio, CVAT, (상용) Scale AI, SupuerAnnotate 등

◦

(피처 엔지니어링) 데이터로부터 유의미한 입력 특성(Feature)*을 추출하고 

가공하는 작업을 수행하기 위해, 이를 지원하는 SW 도구 활용

*

특성(피처, Feature)이란, AI 모델의 학습과 예측에 사용하는 입력 변수(Input 

Variable) 또는 투입 속성(Input Attribute)을 의미

–

전처리에서는 도메인 지식의 반영, 학습 데이터의 편향 제거, 과적합 방지, 

모델 해석력 향상 등 여러 목적으로 입력 특성의 가공 및 재구성이 필요

–

이를 위해 피처 엔지니어링 툴과 피처 스토어(Feature Store)* 개념 등장14) 

*

피처 스토어는 학습을 위한 입력 피처를 저장, 관리하여 재사용을 가능하게 하고, 

모델 내부 중간 레이어에서 생성된 피처를 활용해 다양한 튜닝 작업의 효율성 제고

*

(사례) Uber는 종단 간 머신러닝 플랫폼 미켈란젤로(Michelangelo)에 다중 

데이터 소스로부터 특성을 추출해 중앙집중식으로 일관성 있게 관리하는 Feature 

Store를 구축함

[그림 3-2] 우버의 Feature Store 개념도

자료: Datagrom(2021)15)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

11

15)

 

https://www.datagrom.com/data-science-machine-learning-ai-blog/feature-store-uber-ai-large-

scale-machine-learning 

<사례> 데이터 전처리 지원 SW

<자연어 처리를 위한 텍스트 데이터 전처리>

 - 인터넷에서 수집한 텍스트에는 HTML 태그나 특수문자가 많고, 잘못된 인코딩 

문자가 섞여 있을 수 있으며, 이를 정제하기 위해 BeautifulSoup 같은 

파이썬 라이브러리가 HTML을 파싱하고 텍스트만 추출

 - 그 후 NLTK나 spaCy 라이브러리를 활용하여 문장을 토큰화, 불용어 제거, 어간 

추출 등의 처리를 자동 수행

 - 이렇듯 자연어 전처리 파이프라인을 구성함으로써 수백만 문서로 이루어진 

코퍼스도 체계적으로 정리되어 언어모델 학습에 투입될 수 있음

<전처리 단계에서 중요한 것은 일관성과 재현성(Reproducibility)>

 - 같은 원본 데이터에 대해서 항상 동일한 정제 절차를 적용해야 일관된 결과를 

얻을 수 있으며, 그래야 모델 학습도 안정적 

 - 이를 위해 데이터 버전 관리 도구(예: DVC: Data Version Control)로 전처리된 

데이터 셋의 버전을 관리하거나, 스냅샷을 저장해두는 방식이 활용

 - 또한 전처리 코드 자체도 형상 관리되어야 하며, 이는 추후 모델 결과 해석이나

모니터링 시에 어떤 전처리 과정을 거쳤는지 추적 가능한 로그를 남기는 

의미가 있음

<오픈소스 라벨링 SW인 Label Studio>

 - 비디오 데이터의 프레임 단위 어노테이션(아래 그림) 기능을 제공해, 영상 

데이터에 라벨링 작업을 보다 손쉽게 수행할 수 있도록 지원

 - 플러그인 또는 외부모델 연동을 통해 객체 탐지 기반의 자동화/반자동화된 라벨링 

처리가 가능해, 효율성 높은 어노테이션 작업이 가능

<그림> Label Studio의 영상 데이터 라벨링 화면 예시

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

12

□

(3단계) 모델 개발 및 학습: AI 알고리즘 구현을 위한 SW프레임워크

◦

(학습) 모델 학습 단계는 AI 시스템의 두뇌에 해당하는 머신러닝·딥러닝 모델을 

설계하고, 데이터의 패턴을 파악해서 파라미터를 학습시키는 핵심 단계

–

이 과정은 수학적 알고리즘을 코드로 구현하고, 고차원 행렬연산 및 

반복적인 실험과 검증을 통해 모델의 성능을 평가하고 개선

–

이러한 모든 작업을 보다 편리하고 효율적으로 수행할 수 있도록 지원하는 

도구가 AI 개발 소프트웨어 중 하나인 딥러닝 프레임워크

◦

(딥러닝 프레임워크) 대표적인 딥러닝 프레임워크로는 구글의 TensorFlow 

(2015)와 메타의 PyTorch(2016)가 있음

–

이 프레임워크를 통해 개발자는 직관적이고 간결한 파이썬 코드 몇 줄로 

복잡한 신경망 구조를 정의하는 것이 가능

–

자동 미분과 경사하강법을 통해 파라미터를 업데이트하고, CUDA* 연동을 

통한 GPU 기반 병렬 연산으로 학습 시간을 단축하는 등 딥러닝 모델 

구현에 필요한 대부분의 기능을 포괄적으로 지원

*

CUDA(Compute Unified Device Architecture)는 엔비디아가 개발한 병렬 

컴퓨팅 플랫폼으로 GPU를 범용 연산에 활용할 수 있도록 만들어진 기술

이름

주요 기능

TensorFlow

●

TensorFlow는 구글(Google Brain)에서 개발한 오픈소스 딥러닝 프레임워크로 컴퓨터 

비전, 자연어 처리, 음성 인식 등 거의 모든 AI 분야에서 사용할 수 있도록 설계

●

TensorFlow Extended(TFX)라는 생태계를 통해 데이터 검증, 모델 서빙, 

파이프라인 관리 등 end-to-end 솔루션을 제공

PyTorch

●

PyTorch는 Meta에서 개발한 오픈소스 딥러닝 프레임워크로 연구자와 개발자에게 

매우 직관적이고 유연한 개발 환경을 제공

●

Python 코드 스타일과 직관적인 디버깅 가능성 덕분에, 많은 대학원 연구와 

프로토타이핑에서 표준 도구로 자리매김

●

PyTorch는TorchScript나 ONNX를 통해 추론 단계에서의 최적화/배포도 

지원하며, PyTorch Lightning 같은 상위 추상화 프레임워크를 통해 복잡한 분산 

학습도 비교적 쉽게 다룰 수 있음

기타

●

이외에도 JAX (Google), MXNet (Apache), CNTK (Microsoft) 등이 딥러닝 

프레임워크로 존재하며, 각각 고유의 장점(예: JAX는 함수형 스타일과 XLA 컴파일러 

최적화, MXNet은 경량화 등)이 있음

*

자료 : SPRi 재구성(2025)

[표 3-1] 딥러닝 프레임워크 예시

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

13

16)

 GPU 범용 연산(GPGPU, General-Purpose computing on Graphics Processing Units)

◦

(가속화) 딥러닝 모델 학습의 연산 속도를 획기적으로 높이기 위해서는 

GPU, TPU 같은 하드웨어의 효율적 구동을 가능케 하는 SW가 필수적 

–

병렬 처리 측면에서, 대규모 데이터셋이나 초대형 모델을 보다 효율적으로 

학습시키기 위해서는 단일 GPU를 넘어 여러 장의 GPU 또는 다수의 

머신에 분산하여 학습시키는 분산 컴퓨팅 프레임워크가 중요

–

2012년 딥러닝 돌풍을 일으킨 AlexNet 신경망은 당시 게이밍 GPU 두 장 

(GeForce GTX 580)으로 학습되었는데, 이때 GPU 연산을 가능케 한 

것이 바로 엔비디아 CUDA 기반의 GPGPU16) 프로그래밍

*

CUDA는 C/C++ API로 GPU의 수천 개 코어를 제어할 수 있게 해주며, 대규모 

행렬곱 연산을 CPU 대비 수십 배 이상 빠르게 실행 

–

NVIDIA는 여기서 더 나아가 딥러닝 특화 고성능 라이브러리인 

cuDNN(CUDA Deep Neural Network library)을 2014년 출시하여, 

신경망의 핵심 연산(예: 합성곱, 활성화 함수)을 고도로 최적화

–

결과적으로 CUDA와 cuDNN 결합은 딥러닝 훈련의 사실상 표준 가속 

엔진으로 자리매김해, NVIDIA가 AI 생태계를 선도하는 핵심 기반으로 작용

[그림 3-3] 엔비디아 CUDA(Compute Unified Device Architecture) 플랫폼

*

자료: Nvidia Blog17)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

14

17)

 https://blogs.nvidia.com/blog/what-is-cuda-2/(2025.11.27.기준), CUDA는 2008년 출시 이후 2021

년까지 3,300만 이상 다운로드

–

현재의 초거대 언어모델들은 수천~수만 개의 GPU/TPU 병렬 연산이 

가능하도록 정밀하게 조율하는 고도의 SW 기반 분산 학습 기술을 활용

◦

(자동화) AI 모델 개발 시 사람의 개입을 최소화하고 인공신경망 

구조의 설계, 하이퍼 파라미터 최적화 등 자동화를 위한 소프트웨어인 

AutoML 등장

–

Google AutoML, AutoKeras, Auto-sklearn 등의 오픈소스 툴은 

주어진 데이터에 맞는 최적의 모델 탐색하고 하이퍼파라미터를 자동 조정

–

Keras Tuner, Optuna, Ray Tune 등은 하이퍼파라미터 최적화를 

병렬로 수행하여 성능 향상을 도모

(사례) 허깅페이스 AI 개발 지원

<허깅페이스(Hugging Face)*의 Transformers 라이브러리>

 * 머신러닝 모델 공유, 협업 플랫폼 + AI 개발을 위한 오픈소스 라이브러리 제공 업체

 - 최신 NLP 모델들을 손쉽게 활용할 수 있는 API를 제공

 - 개발자는 이 라이브러리를 통해 사전 학습된 언어모델을 한 줄의 코드로 불러와서 

자신의 데이터에 맞게 미세 조정(fine-tuning)할 수 있음

 - 예를 들어 감정 분석을 위해 pipeline('sentiment-analysis') 한 줄만 호출하면 

내부적으로 BERT 기반 모델이 로드되어 바로 추론이 가능

 - 허깅페이스 허브에는 2025년 12월 기준으로 220만 개 이상의 공개 AI 모델이 

등록되어 있어, 필요한 모델을 검색해 바로 다운로드 받아 쓸 수 있음 |

(‘25.3월 기준 140만개)

 - 이는 모델 개발을 일일이 처음부터 할 필요 없이 재사용과 협업을 촉진하여 AI 

발전을 가속화하고 있음

 - 이렇게 프레임워크와 오픈소스 모델의 결합으로, 중소기업이나 소규모 연구팀도 

손쉽게 최첨단 AI 모델을 활용할 수 있는 기회가 확대되고 있음

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

15

18)

 8비트 양자화된 BERT 모델은 원본 대비 거의 4배 빠르게 추론을 실행하면서도 정확도 손실은 최소화 가능

(Zafrir et al., 2019)

□

(4단계) 모델 최적화 단계: 효율적 추론을 위한 모델 경량화 및 변환 SW

◦

(모델 최적화) 모델 학습이 완료된 후에는 배포 및 실제 서비스에 앞서 

대부분의 경우 모델 최적화(Model Optimization) 단계를 거침* 

*

학습된 원본 모델이 높은 정확도를 달성했더라도, 모델 크기(Size)나 추론 

속도(Latency) 측면에서는 실사용에 비효율적일 수 있기 때문

–

이 단계에서는 SW를 활용하여 모델을 경량화(Compression)하거나 

변환(Convert)하여, 메모리 사용량 감소, 추론 속도 향상, 다양한 플랫폼 

호환성 확보 등의 목표를 달성

◦

(경량화) 모델 개발 및 운영 비용의 절감과 엣지 기기에서의 추론 실행 

수요가 확대됨에 따라, 모델 경량화는 중요한 과제로 부상

–

지연 시간(Latency)을 줄이고 처리량(Throughput)을 높이기 위해, 

양자화, 프루닝, 지식 증류 등 여러 경량화 기법*이 개발 

*

△양자화(Quantization)는 모델의 가중치와 연산을 FP32(32비트 부동소수점)에서 

INT8(8비트 정수) 등의 저정밀도 형식으로 변환하여, 약간의 정확도 손실을 

감수하는 대신 연산 속도와 메모리 효율을 향상하는 기법18) 

  △프루닝(Pruning)은 중요도가 낮은 가중치나 파라미터를 제거하여 모델의 

복잡도를 낮추는, 흔히 ‘가지치기’라고 불리는 경량화 기법

  △지식 증류(Knowledge Distillation)는 대규모 모델의 추론 결과를 학습 

데이터로 활용하여 성능을 유지한 채 더 작은 모델로 학습시키는 경량화 기법

–

이러한 작업의 효과적 수행을 지원하는 SW의 개발과 고도화과 진행 중* 

*

예를 들어 TensorFlow Model Optimization Toolkit이나 PyTorch TorchVision 

등은 양자화 및 프루닝 기능을 제공하며, Neural Network Distiller(Intel) 등의 

오픈소스 툴은 여러 경량화 기법을 지원

◦

(형식 변환) 서로 다른 프레임워크 간 모델을 공유하거나, 모바일/웹 

환경에서도 모델을 원활하게 활용하려면 표준화된 모델 형식이 필요

–

ONNX(Open Neural Network Exchange)는 다양한 딥러닝 프레임워크 

기반의 모델을 중립적인 그래프 형식으로 표현하여, 이종 환경에서 

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

16

19)

 Gupta et al.,(2025.5.18.), https://www.baseten.co/blog/40-faster-stable-diffusion-xl-inference-with-nvidia-tensorrt/ 

20)

 Vision Processing Uniit: 머신 비전 처리 특화 프로세스

이식성과 재사용성을 확보할 수 있도록 해주는 개방형 표준* 

–

ONNX의 등장은 프레임워크 종속성 탈피라는 의미가 있어, 개발자가 처음 

모델을 구축한 환경과 다른 환경에서도 재사용이 용이하도록 지원*

*

PyTorch에서는 torch.onnx.export() 한 줄로 모델을 ONNX 파일로 저장 → 

생성된 ONNX 모델은 TensorFlow 또는 Core ML(iOS용)로 변환 → 모바일 앱, 

웹브라우저, 임베디드 시스템 등 다양한 플랫폼에서 활용

–

TensorFlow Lite는 TensorFlow 기반 모델을 모바일/IoT 기기용으로 

경량 변환해주는 툴셋으로, 양자화 및 최적화된 연산 등을 적용하여 모바일 

기기에서도 딥러닝 추론이 가능하도록 지원

◦

(하드웨어 최적화) 모델 최적화의 궁극적인 목표는 추론(inference)을 

빠르고 가볍게 하는 것이므로, 하드웨어에 특화된 최적화도 중요

–

(NVIDIA) TensorRT는 모델 레이어들을 재구성하고 정밀도 감소(16비트, 

8비트) 등을 통해 GPU 추론을 가속화*하는 상용 라이브러리로 ONNX 

형식의 입력을 받아 최적화된 엔진으로 변환

*

Stable Diffusion XL 모델을 TensorRT로 최적화한 결과 추론 지연이 40% 

단축되고 처리량이 70% 증가한 사례가 보고19)(Gupta et al., 2025)

–

(Intel) OpenVINO는 인텔 CPU와 VPU*20)에 최적화된 추론 엔진으로, 

CPU에서도 병렬화와 양자화를 통해 딥러닝 추론을 가속

–

(Apple) iPhone의 뉴럴엔진을 활용할 수 있도록 Core ML Tools를 

제공하여 개발자가 TensorFlow, PyTorch 같은 외부 프레임워크로 학습된 

모델을 iOS 앱에 맞게 Core ML 형식으로 변환하도록 지원

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

17

21)

 ArXiv 2306.14289 – MobileSAM 

22)

 https://github.com/facebookresearch/segment-anything

23)

 모델 서빙 프레임워크는 학습된 머신 러닝 모델을 프로덕션 환경에서 효율적으로 배포하고 관리하기 위한 도구로 

(사례) AI 모델 경량화 사례

<Meta에서 개발한 영상 인식 모델21)>

 - 모바일용 경량화를 통해 추론 속도 56배 개선, 파라미터 100배 감소 효과 달성

 - 최초 모델22)은 PyTorch로 학습한 632M(백만개) 파라미터 규모의 

SAM(Segment Anything Model)으로, Vision Transformer(ViT-H) 기반의 

대형 인코더를 사용하여 추론 속도 452ms 수준

 - 이 모델을 모바일 기기에서 실시간 추론이 가능하도록 Tiny-ViT 인코더 기반으로 

교체 후 ONNX 형식으로 변환해 다양한 모바일 디바이스에서 효율적 실행을 지원

 - 최종적으로 추론 속도 8ms로 최초 모델 대비 약 56.5배 개선, 파라미터는 

5.78M(백만 개)로 약 109배 감소 효과

 - 이처럼 딥러닝 프레임워크와 ONNX 같은 SW는 AI 모델이 연구 단계에 머무르지 

않고 실제 서비스나 디바이스 환경에 적용될 수 있도록 돕는 가교역할을 수행

□

(5단계) 모델 추론(Inference) 단계: 실시간 예측을 위한 서빙 SW

◦

모델 추론이란 학습된 모델을 사용하여 새로운 입력에 대한 예측이나 결과를 

산출하는 과정으로, 사용자가 AI 서비스에서 체감하는 응답은 대부분이 추론 

단계의 성능과 품질에 좌우

–

추론은 실시간 처리, 확장성(Scalability), 안정성이 특히 중요하며, 이를 

위해 특화된 모델 서빙(Serving) SW와 API 인프라가 활용

◦

(서빙) 학습된 모델은 추론 전용(Frozen) 또는 직렬화(Serialized) 형태로 

저장·배포되며, 이를 실제 어플리케이션에서 사용하려면 서버에 모델을 

적재하고 추론 요청에 응답하는 서빙 프레임워크 필요(De Rosa et al., 

2024)23)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

18

이를 통해 모델은 새로운 데이터에 대한 예측을 실시간으로 제공할 수 있으며, 확장성, 신뢰성, 성능 등을 보장 

24)

 https://blogs.nvidia.com/blog/what-is-cuda-2/ (2025.11.27. 기준) 

–

AWS SageMaker, Google Vertex 등의 상용 SW와 구글이 개발한 

TensorFlow Serving과 PyTorch 모델을 쉽게 배포할 수 있도록 

지원하는 TorchServe 서빙 프레임워크 등의 오픈소스 SW가 있음

[그림 3-4] 모델 서빙 개념도

*

자료: Nvidia Blog24)

◦

(클라우드 기반 추론) 많은 기업이 자체 인프라를 구축하는 대신, 클라우드 

기반의 서비스를 통해 추론을 수행하려는 방향으로 전환

–

사용자가 모델을 업로드하면 API 엔드포인트를 생성해주고, 트래픽 부하에 

따라 인스턴스를 자동으로 조정하며 모니터링/로깅 기능을 제공하는 

서버리스(Serverless) 추론 서비스*를 이용 가능

*

AWS의 SageMaker Endpoints, GCP의 AI Platform Prediction, Azure의 

Machine Learning Endpoints 등은 초기 투자 비용 없이도 대규모 AI 서비스를 

운영할 수 있어 스타트업에도 인기가 높음

–

가령 한 스타트업이 이미지 분류 모델을 API로 공개하려 할 때, 

SageMaker를 쓰면 복잡한 서버 구성없이 요청에 따라 GPU 인스턴스가 

동적으로 증감하며 추론을 처리

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

19

플랫폼

특징

장점

단점

오픈

소스

Amazon 

SageMaker

●

AWS와 통합된 풀매니지드 

ML 서비스. 모델 개발, 훈련, 

서빙 전체 워크플로우 지원

●

AWS 생태계와의 통합, 

확장성, 보안성, 사전 구축 

알고리즘

●

초보자에겐 복잡, 비용이 

커질 수 있음

X

TensorFlow 

Serving

●

TensorFlow 모델 최적화 

서빙 시스템. 고성능/낮은 지

연 지향

●

낮은 지연, 높은 처리량, 

모델 버전 관리, 무료

●

TensorFlow에 최적화되어 

타 프레임워크엔 불리

O

Microsoft Azure 

ML

●

클라우드 기반 ML 

플랫폼. AutoML, MLOps, 

책임있는 AI 지원

●

Microsoft 생태계 통합,

MLOps 지원, 보안 및 

규정준수

●

일부 고급 기능은 유료, 

진입 장벽 있음

X

Google Cloud 

AI Platform

●

GCP 기반 ML 

플랫폼. AutoML, MLOps, 

분산 훈련 지원

●

Google 인프라 기반 성능, 

통합형 AutoML 및 Big- 

Query 지원

●

비용 관리가 어려울 수 있음

X

TorchServe

●

PyTorch 모델 서빙 

프레임워크. Amazon과 

Meta 공동 개발

●

PyTorch 친화적, 빠른 추론,

 REST/gRPC 지원

●

TensorFlow 모델에는 

부적합

O

BentoML

●

프레임워크 불문하고 모델 

패키징/배포/서빙 지원

●

다양한 프레임워크 지원, 

간단한 CLI/API, 컨테이너화 

쉬움

●

고성능 실시간 서빙에는 

부적합할 수 있음

O

MLflow

●

모델 추적 및 배포 

중심 MLOps 플랫폼

●

모델 버전 관리, 로깅, 

다양한 배포 인터페이스

●

서빙 기능은 제한적 

(서빙에 최적화된 도구 

아님)

O

KServe

●

Kubernetes 기반 모델 

서빙, 스케일링 및 버전 

관리 지원

●

K8s 통합, 자동 확장 및 

A/B 테스트 지원

●

Kubernetes에 대한 지식 

필요, 설정 복잡

O

Triton Inference 

Server

●

NVIDIA에서 개발한 다중 

프레임워크 서빙 도구

●

TensorRT 최적화, 다중 

모델 지원, GPU 사용 극대화

●

설정 복잡, 리소스 요구 높음

O

*

자료 : SPRi 재구성(2025)

[표 3-2] 모델 서빙 프레임워크 비교

ㅇ

(지연 최적화) 추론 단계에서 지연은 사용자 경험에 영향을 줄 수 있으므로, 

레이턴시(latency) 최적화가 핵심

–

앞서 언급한 최적화 단계에서의 양자화, TensorRT 적용 외에 개별 

요청들을 모아 한 번에 벡터 연산으로 처리함으로써 GPU 활용도를 

극대화하는 배치 추론(Batch inference) 기술도 이용

–

서빙 시스템에서 적절한 대기 지연을 두어 여러 요청을 묶어 처리하는 

반면, 실시간성이 중요할 경우 1건씩 바로 처리하도록 튜닝 가능

–

또한 캐싱 기법을 통해 동일한 입력에 대한 중복 추론을 피하고, 

멀티스레딩으로 CPU 자원을 최대한 활용하는 등의 일반적인 최적화도 

적용 가능

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

20

◦

(엣지 추론) IoT 환경이나 모바일 기기의 제한된 자원 내에서 클라우드로 

보내지 않고 로컬 추론을 하는 방식이 증가

–

이 경우 추론 소프트웨어는 디바이스의 제한된 자원에서도 동작해야 

하는데, TensorFlow Lite Interpreter, ONNX Runtime Mobile, Core 

ML 등이 이러한 엣지 AI를 지원하는 경량 추론 엔진으로 활용

–

이들은 모델을 미리 최적화(양자화 등)된 상태로 탑재하고, 디바이스별 

다양한 병렬 연산 유닛을 활용하여 추론* 

*

가령, iPhone의 시리(Siri) 음성인식은 Core ML로 동작하며 안드로이드 

Gboard의 내장 음성 모델도 TensorFlow Lite로 구동되는데, 이런 SW 덕에 

네트워크 연결이 없어도 디바이스 자체에서 AI 기능의 실행이 가능

(사례) AI 모델 추론 서빙 SW

<NVIDIA 개발 오픈소스 AI 모델 추론 서빙 SW(Triton Inference Server)>

 - Triton Inference Server는 오픈소스 기반 다중프레임워크 추론 서버로, 

다양한 프레임워크에서 학습된 모델을 효율적으로 배포하고 추론 실행을 지원 

 - (커머스) Amazon은 고객 경험 향상을 위해 AI 기반 검색 쿼리 보정을 

도입하는 데 Triton을 활용, Triton과 TensorRT 적용으로 실시간 추론 

지연을 50ms 이하로 단축, 모델 처리량 5배 향상 효과 달성

 - (금융) American Express는 신용카드 실시간 거래 사기(부정 결제)를 

탐지하는 데 Triton을 활용, 연간 80억 건 이상의 거래를 초저지연(2ms) 

내 실시간으로 탐지할 수 있고 Triton, TensorRT 등을 활용해 CPU 대비 

50배 이상 성능 달성

 - (에너지) Siemense Energy는 발전소 설비 점검, 예측 정비, 산업용 카메라/센서 

데이터 분석을 위해, Triton, AWS 클라우드, Edge 추론을 도입해 모델을 

서빙, 수백 가지의 점검 작업을 자동화

*

자료: Nvidia(2020.10)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

21

25)

 DevOps: 2000년 후반에 등장한 방식으로 SW를 빠르고 안정적으로 개발, 배포, 운영하기 위해 개발팀

(Dev)과 운영팀(Ops)의 협업을 자동화하고 프로세스, 업무 문화적 측면에서 통합하는 방식 

26)

 컨테이너는 애플리케이션과 그 실행 환경(라이브러리, 종속성, 설정 등)을 격리된 단위로 패키징하여 실행하는 기술

27)

 대규모 컨테이너 애플리케이션을 자동으로 배포, 실행 상태 관리 및 확장, 복구하는 기술

28)

 쿠버네티스에서 컨테이너를 배포하는 가장 작은 단위

□

(6단계) 운영 및 배포: AI 모델의 제품화와 MLOps를 지원하는 SW

◦

(MLOps 구축) 안정적 AI 서비스를 위해 모델의 지속적 개선, 여러 

환경에서의 배포, 성능 모니터링, 문제 대응 등 운영(Operations) 단계가 

필수적

–

MLOps(Machine Learning Operations)는 소프트웨어 엔지니어링의 

DevOps25) 개념을 머신러닝에 접목한 것으로, 데이터 수집부터 모델 

배포·모니터링까지 전 주기를 효율적으로 관리하는 것을 목표

–

이 단계에서는 전체 파이프라인에 걸친 오케스트레이션, 지속적 

통합/배포(CI/CD), 모니터링 등 SW 인프라가 중요한 역할을 수행

◦

(컨테이너 기반 실행환경) 현대 SW 배포의 표준으로 자리 잡은 

컨테이너(도커 등)26)기술은 AI 모델 배포 수단으로도 활발히 사용

–

모델과 필요한 라이브러리를 컨테이너 이미지로 패키징하여, 개발 환경의 

차이와 무관하게 일관된 실행을 보장하는 오픈소스 및 상용 SW를 활용

–

구글이 개발한 쿠버네티스(Kubernetes)는 컨테이너를 클러스터 상에서 

관리·스케일링하는 플랫폼으로, 사실상 컨테이너 오케스트레이션27)의 표준

*

쿠버네티스(Kubernetes)*에 모델 서빙용 컨테이너를 배포하고 사용자 요청량에 

따라 파드(Pod)28)를 증감, 장애 시 자동으로 재시작하도록 구성

*

Kubeflow는 쿠버네티스 환경 위에서 머신러닝(ML) 워크플로우의 배포 및 관리를 

간소화하도록 설계된 오픈소스 MLOps 플랫폼으로 JupyterHub 기반의 개발 

환경부터 실험 관리, 파이프라인 구성, 모델 서빙까지 종합적 기능 제공

–

또한 AWS SageMaker와 같은 관리형 ML 플랫폼도 모델 학습부터 

배포·추론까지의 전 과정을 서비스 형태로 제공하여 인프라 운영 부담을 

줄이면서 안정적인 모델 서빙 환경을 구성할 수 있도록 지원

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

22

29)

 분산형 버전 관리 시스템으로 코드의 변경 이력을 효과적으로 관리하고 개발자 간 협업을 지원하는 오픈소스 도구

30)

 데이터 드리프트란 AI 모델이 학습할 때 사용한 데이터의 분포와 실제 운영(추론) 단계에서 입력되는 데이터

의 분포가 시간에 따라 달라지는 현상

◦

(자동배포 파이프라인) 모델도 SW의 일종이기에, 코드와 구성을 

업데이트하고 배포하는 과정에 지속적 통합 및 배포(CI/CD) 도구를 사용

–

MLflow는 머신러닝 모델에 특화된 CI/CD 지원 오픈소스 플랫폼으로 실험 

추적과 모델 저장소, 배포까지 지원

–

개발자는 MLflow에 모델을 등록하면 이를 웹서비스로 배포하거나, A/B 

테스트*를 설정하여 여러 모델 버전을 동시에 운영할 수 있음

*

기존 버전(A)과 변경된 버전(B)을 분리해 어느 것이 좋은 성과를 보이는지 테스트

–

이렇게 함으로써 모델 개발에서 서비스 반영까지의 시간을 단축하고, 

반복적인 운영 작업의 자동화가 가능

–

특히 모델 버전 관리는 모델 변경이 실제 서비스의 품질과 동작에 미치는 

영향을 고려하고, 예기치 못한 오류에 신속히 대응하는 데 필수적이기 

때문에 자동배포 SW는 서비스 운영에서 매우 중요한 역할* 

*

예를 들어 Git29)에 새로운 모델 버전이 커밋되면 Jenkins나 GitHub Actions 

같은 CI 도구가 자동으로 모델을 재학습하거나 패키징하고, 테스트를 통과하면 

프로덕션에 배포

◦

(모델 모니터링) 운영 단계에서는 배포된 모델의 상태와 성능을 지속적으로 

모니터링할 수 있도록 지원

–

AI 모델의 경우 모델 성능 관리 SW*를 통해 데이터 드리프트(data 

drift)30)나 모델 노후화로 인한 성능 저하 문제 등 지속적 관리 필요

*

(예)　(상용)　AWS SageMaker Model Monitor （오픈소스)　Evidently.ai 등

–

또한 모델 버전 관리, 상태추적, 배포 이력 관리 등을 위해 중앙저장소 

역할을 수행하는 모델 리포지터리(Model Repository) 시스템 활용

–

리포지터리는 어떤 모델이 언제 어떤 데이터와 코드로 학습되었는지 

메타데이터를 기록하고, 모델 간 비교나 롤백이 용이하도록 지원

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

23

31)

 AWS(2024.8), Amazon SageMaker와 Airflow를 이용한 SK브로드밴드의 MLOps 플랫폼 구축 사례 

32)

 TechTarget(2024.12), The DCIM industry is projected to grow to $5.01 billion by 2029

(사례) MLOps 파이프라인 구축31)

<SK브로드밴드는 영상 추천 서비스를 위해 MLOps 파이프라인을 구축>

 - Amazon SageMaker의 데이터 전처리, 모델 학습, 하이퍼파라미터 튜닝, 추론 

및 배포 기능을 Apache Airflow로 연결하여 전체 과정을 자동화

 - 학습 완료 모델은 SageMaker 모델 레지스트리(Model Registry)에 등록되고, 성능 

기준을 만족하면 자동으로 승인되어 엔드포인트 배포

 - 이를 통해 모델 버전 관리와 운영 자동화를 동시에 실현, 모델 개발부터 서비스 

반영까지의 시간을 단축하고 안정적인 시스템 운영 자동화 가능

<그림> SK브로드밴드의 모델 거버넌스를 중심으로 한 MLOps 아키텍처

◦

(인프라 운용) 데이터센터 HW 자원의 성능과 전력효율성을 최적화

–

AI 특화 GPU/TPU 서버, 대용량 저장장치, 고속 네트워크, 전력 및 냉각 

시스템 등 데이터센터 내 모든 HW 자원을 분산 병렬 환경에서 효율적으로 

배분하고 제어하는 데이터센터관리(DCIM) SW* 활용

*

(DCIM SW의 주요 기능) 네트워크 관리 및 최적화, 중앙집중식 및 원격 모니터링, 

전력 에너지 및 환경 모니터링, 자산 및 워크플로 관리, 사건 보고 및 관리, 이상치 

탐지, 데이터 센터 시각화, 용량 계획 및 가상 시나리오/시뮬레이션 등

(예) Sunbird DCIM, Vertix, Device42, Schneider Electric, EkkoSense 등

–

데이터센터 확대로 DCIM시장은 2029년까지 51억달러 규모로 성장할 전망32)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

24

□

(7단계) 애플리케이션 개발 및 통합: AI 기능을 서비스로 만드는 SW

◦

AI 모델은 그 자체로 존재하는 것이 아니라, 최종적으로는 애플리케이션 

또는 서비스에 통합되어 사용자에게 가치를 제공

–

애플리케이션 개발 단계에서는 프런트엔드나 비즈니스 로직에 AI를 

내장하거나, AI 기능을 노출하는 새로운 제품을 제작

–

이 과정에서 개발자들은 AI 모델을 호출하고 결과를 활용하여 기능을 

구현하는데, 이를 도와주는 각종 소프트웨어 라이브러리와 API의 역할 증가

◦

(라이브러리) 개발자가 특정 기능을 손쉽게 구현할 수 있도록 미리 만들어 

놓은 코드 묶음인 라이브러리(Library)를 활용

–

가령, HuggingFace Transformers 라이브러리는 애플리케이션 개발자가 

사전 학습 모델을 간편히 활용하도록 지원* 

*

(예) 텍스트 요약 기능을 앱에 추가하고자 할 때, 복잡한 모델 개발 지식 없이도 

Transformers 라이브러리의 Pipeline API를 사용해 pipeline("summarization", 

model="t5-base")와 같은 단 몇 줄의 코드로 요약 모델을 바로 활용 가능 

–

라이브러리가 내부적으로 토크나이저 호출, 모델 로딩, 전·후처리를 모두 

해주기 때문에 개발자는 비즈니스 로직에 집중할 수 있음

–

컴퓨터 비전 분야에도 OpenCV나 TensorFlow Hub 같은 라이브러리가 

있어, 이미지 처리나 객체 탐지를 코드 몇 줄만으로 구현이 가능

◦

(SDK) SDK(Software Development Kit)는 라이브러리뿐만 아니라, API, 

샘플 코드, 문서, 디버거, 컴파일러, 테스트 도구 등을 함께 제공하며 AI 

애플리케이션 개발에 필수적인 SW 도구

–

모바일 개발자를 위해서 TensorFlow Lite는 Android, iOS용 SDK를 

제공, Java/Kotlin(Android) 또는 Swift(iOS) 등 모바일 플랫폼의 

네이티브 언어를 통해 모델을 로드하고 추론을 실행할 수 있도록 지원

◦

(API) 개발자가 직접 모델을 다루지 않고 AI 기능을 쓸 수도 있도록 

API(Application Programming Interface) 기능 제공

–

AI API 서비스는 내부적으로는 강력한 모델이 구동되지만, REST API를 

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

25

통해 웹/모바일 개발자도 손쉽게 AI 기능을 앱에 구현할 수 있어 AI 

민주화에 기여

(사례) AI 애플리케이션 개발 지원 SW 예시

<라이브러리>

라이브러리

주요 기능 및 설명

TensorFlow

●

구글에서 만든 딥러닝 라이브러리. 신경망 설계 및 학습 지원

PyTorch

●

Facebook에서 개발한 딥러닝 프레임워크. 동적 계산 그래프 기반

scikit-learn

●

머신러닝 알고리즘 구현 (SVM, 랜덤 포레스트, 클러스터링 등)

NumPy / pandas

●

수치 계산, 데이터 프레임 처리 등 데이터 전처리용

OpenCV

●

이미지/비디오 처리용 컴퓨터 비전 라이브러리

spaCy / NLTK

●

자연어 처리(NLP)용 라이브러리

<SDK>

이름

주요 기능 및 설명

NVIDIA CUDA Toolkit

●

GPU 가속을 위한 병렬 컴퓨팅 SDK (라이브러리 + 컴파일러 + 디버거 등 포함)

TensorRT SDK

●

NVIDIA가 개발한 딥러닝 추론 최적화 및 런타임 SDK

OpenVINO Toolkit

●

Intel 하드웨어 기반 딥러닝 추론 최적화 SDK

AWS SDK for Python

●

AWS AI 서비스(SageMaker, Rekognition 등)를 Python에서 제어 가능

Google Cloud AI SDK

●

GCP의 AI 서비스(예: AutoML, Vision AI 등) 연동

<API>

이름

주요 기능 및 설명

제공사

OpenAI API

●

GPT, ChatGPT, DALL·E 등 텍스트 생성, 코드 생성, 이미지 생성

OpenAI

Google Cloud Vision API

●

이미지에서 텍스트 감지, 라벨링, 얼굴 인식 등

Google 

Cloud

Google Dialogflow API

●

챗봇 및 자연어 이해(NLU) 기능

Google

Amazon Rekognition API

●

얼굴 분석, 객체 탐지, 비디오 분석

AWS

Amazon Comprehend API

●

텍스트 감정 분석, 키워드 추출, 언어 감지

AWS

Microsoft Azure Cognitive 

Services API

●

언어 처리, 음성 인식, 컴퓨터 비전, 얼굴 인식 등

Microsoft

Hugging Face Inference 

API

●

다양한 NLP 및 비전 모델을 REST API로 사용

Hugging 

Face

IBM Watson API

●

언어 분석, 챗봇, 텍스트-음성, 추천 시스템 등

IBM

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

26

◦

(플러그인 연동) 상용 SW들도 AI 기능을 플러그인 형태로 통합 추세

–

문서 작성 도구인 MS 워드나 구글 문서에 문맥 상황을 파악해 글쓰기 

지원을 하는 AI가 내장되고, 그래픽 편집 SW(예, Photoshop)에 이미지 

생성 AI가 플러그인 형태로 통합

–

이러한 통합을 위해 개발 환경별 SDK와 플러그인 API가 제공되며, AI 

모델의 추론 결과를 해당 SW의 객체로 변환하는 어댑터 코드가 필요

–

이는 주로 각 제품의 개발사가 주도하지만, 그 역시 외부 라이브러리 (예: 

ONNX Runtime 또는 TensorFlow Lite) 등을 활용해 구현

◦

(LLM 기반 앱 개발) LLM 기반 애플리케이션 개발을 위한 오픈소스 

오케스트레이션 프레임워크(예. LangChain)가 등장하면서, 복잡한 모델 

활용 로직을 쉽고 효율적으로 구현

–

LangChain은 LLM을 소프트웨어 애플리케이션에 통합하기 위한 대표적인 

오픈소스 프레임워크로 프롬프트 생성, LLM 호출, 후처리 등을 순차적으로 

연결해 복잡한 애플리케이션 로직을 체인 형태로 구성

–

표준화된 LLM I/O를 기반으로, 벡터 DB 연결, 외부 API 호출, 로컬 문서 

활용, 대화 이력이나 상태 정보를 담은 메모리 참조 등 다양한 요소를 

체인에 통합

[그림 3-5] LangChain 주요 모듈

*

자료: Caelen, O., & Blete, M. A. (2024)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

27

◦

(사용자 UX 구성) 사용자 경험(UX)은 소프트웨어를 사용하며 느끼는 

이용자의 총체적 만족감으로 AI의 최종 품질은 UX를 극대화하는 

소프트웨어의 구현 방법에 영향을 받음

–

아무리 강력한 AI 모델도, 최종 사용자에게 유용하고 이해하기 쉬운 형태의 

인터페이스를 통해 제공될 때 그 효용가 극대화될 수 있음

–

개발자는 AI 결과를 사용자가 이해하기 쉽도록 정보를 가공하는 후처리를 

하거나, 설명을 추가하는 UX 개선 로직을 소프트웨어에 구현해야 함

–

또한, AI 결정의 투명성과 공정성을 위해 설명 가능한 AI(XAI) 도구를 

통합하거나, 사용자의 피드백을 받아 모델 개선에 반영하는 피드백 루프 

구현도 필요

–

사용자 측면까지 포함할 때, AI를 둘러싼 전체 응용 프로그램 스택이 

상당히 방대해지는데 이를 잘 관리하고 신뢰성 있게 운영하기 위해서는 

SW 공학적 접근법 필요

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

28

Ⅳ. 요약 및 시사

1. 요약

□

AI 혁명의 실질적 동력은 축적된 소프트웨어 역량

◦

초거대 AI 활용 및 AGI 논의가 본격화되는 지금, AI 경쟁력은 더 이상 

알고리즘이나 연산 자원만으로 설명되기 어려움 

–

이 보고서에서 AI 개발 생애주기 전 단계에 걸쳐 살펴본 것처럼, 데이터 

수집·전처리에서 모델 학습·최적화, 추론·배포, 애플리케이션 통합에 이르는 

전 과정이 SW로 구현 및 운영

[표 4-1] AI 개발 단계별 SW의 역할과 예시 요약

AI 개발 단계

주요 소프트웨어

역할 및 기능

활용 사례

데이터 수집

●

Hadoop, Spark

●

Scrapy, Kafka 등

●

원천 데이터 추출, 분산처리, 

대용량 저장

●

웹 크롤러로 이미지 

수집 (ImageNet 구축), IoT 

센서 스트림 처리

데이터 전처리

●

Pandas, NumPy(Python)

●

Apache Airflow(ETL)

●

데이터 정제 및 형식 변환 

자동화, 파이프라인 스케줄링 및 

오케스트레이션

●

전자상거래 로그 정제 

파이프라인 (Airflow DAG), 

자연어 텍스트 토큰화/정규화

모델 개발·학습

●

TensorFlow, PyTorch 

(딥러닝 프레임워크)

●

CUDA, cuDNN 

(GPU 가속)

●

AI 모델 구현 및 훈련, 자동 

미분, 대규모 병렬연산으로 

학습 가속화

●

이미지 분류 모델 

개발 (TensorFlow+GPU), 

NLP 언어모델 파인튜닝 

(PyTorch)

모델 최적화

●

ONNX (모델 교환/변환)

●

NVIDIA TensorRT, TF-Lite

●

모델 경량화 및 호환성 확보, 

양자화·엔진 최적화로 추론 속도 

향상

●

PyTorch 모델 ONNX로 변환 후

iOS 탑재, TensorRT로 

자율주행 모델 추론 2배 가속

모델 추론

●

TensorFlow Serving, 

TorchServe

●

ONNX Runtime, Triton

●

학습 모델 배포 및 API 서빙, 

실시간 예측 처리, 다중모델 

호스팅

●

은행 챗봇 의도분류 모델 

REST API 제공 (TF Serving), 

동영상 추천 모델 Triton 

서버 운영

배포 및 운영

(MLOps)

●

Docker, Kubernetes

●

MLflow, Kubeflow

●

Prometheus, Evidently

●

컨테이너화 및 클러스터 관리, 

모델 실험 추적·버전관리, 성능 

모니터링·데이터드리프트 감지

●

쿠버네티스로 AI 서비스 

자동 스케일, 모델 A/B 테스트 

및 모니터링으로 지속 개선

애플리케이션 

개발

●

Hugging Face 

Trans- formers

●

OpenCV, Core ML

●

각종 Cloud AI API

●

애플리케이션에 AI 통합, 

프런트엔드-백엔드 연계, 

도메인별 AI 기능 구현

●

모바일 카메라 앱의 실시간 

필터 (Core ML 모델 내장), 

문서편집기 자동완성 

(GPT API 활용)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

29

33)

 Sophie Magnet(2025.2.3.), DeepSeek vs OpenAI: Which Is the Best AI Model?

34)

 ARK Invest News letter #457, https://www.ark-invest.com/newsletters/issue-457#vertical-integration-x-xai-join-forces  

(2025.3.30.)

◦

특히 초거대 모델과 복합 시스템은 수백억 개 파라미터를 수천 노드에 

분산시키는 아키텍처, 실시간 상호작용을 가능하게 하는 운영체계, 인간과 

AI의 인터페이스를 설계하는 SW 공학 역량 없이는 구현이 불가능

–

따라서 AI를 개별 기술이 아닌 “소프트웨어 생태계 전체의 산물”로 

인식하는 관점 전환이 필요

□

또한, SW의 성능 개선은 AI 비용 경쟁력 제고를 위해 필수적

◦

SW의 개선으로 AI HW(Chip) 비용의 대폭적인 절감 가능

–

무어의 법칙(Moore’s Law)보다 AI의 비용은 더 빠르게 감소되고 있으며, 

AI HW 단독보다 AI HW에 SW가 결합될 때 비용 감소 폭이 더 가파름

*

2025년 1월 소개된 딥시크의 R1모델은 MoE(Mixture-of-Experts), 

MLA(Multi-Head Latent Attention), 하드웨어 최적화(FP8 활용), 지식 증류 

방식 등의 SW 기술을 적극 활용해 오픈AI-o1 대비 1/20 가격으로 제공33)

[그림 4-1] AI 비용과 무어의 법칙

*

자료: ARK Invest(2025.3)34)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

30

35)

 한컴(2025.2.24.), 한컴, 클라우드 및 AI 새로운 성장 동력 입증

36)

 LGCNS(2025.4.28.), LG CNS, 1분기 사상 최대 실적매출액 1조 2,114억원, 영업이익 789억원

□

AI 기술은 SW를 고도화하고, SW는 AI 생태계를 확장시키는 동반 성장 관계

◦

(고도화) 기존 SW의 본연의 기능은 유지하고 AI로 기능 강화 및 

부가서비스 창출하는 방식으로 성능이 고도화

–

하드웨어 제어, 데이터 처리, 사용자와의 인터페이스 등 각종 SW의 주요 

과업을 인공지능을 통해 보다 지능적, 효율적으로 수행할 수 있게 됨

*

(한컴) 전통적 SW기업 한컴은 2024년 영업이익이 18% 증가한 403억원을 기록, 

클라우드와 AI 사업의 동반 성장이 성과 견인35)

*

(LG CNS) 클라우드와 AI 사업이 성장하면서 사상 최대 매출 견인36)

(사례) LG CNS의 DevOn AIDD 사례(‘25.5)37)

<AI 코딩 플랫폼을 분석·설계·코딩·테스트·품질진단 전 과정 ‘에이전틱 AI’ 적용>

 - (분석) 시스템을 구성하는 수십~수백만줄의 복잡한 소스코드를 사람이 

이해할 수 있는 자연어로 요약, 시스템 구조를 빠르게 분석

 - (설계) 자연어로 요약된 내용에 문장·단어를 추가, 수정하는 방식으로 시스템 설계*

    * (예) 계좌이체 시스템에 '본인 인증에 목소리 인증 기능 추가'라고 작성하면 설계가 가능

 - (코딩) 개발자는 △과거 시스템 코드를 현재 버전에 맞는 코드로 변환해주는 

'코드변환' △기존 코드 맥락을 분석해 자동으로 코드를 만들어주는 '코드생성' 

△코드 작성 과정에서 다음 단계에 작성할 코드를 추천해주는 '코드추천' 

△시스템 오류를 발생시키거나 보안에 취약한 또는 성능 저하에 원인이 되는 

코드 등을 탐지해 자동으로 수정해주는 '코드검사' 등을 활용

 - (테스트) 품질 진단 단계에서는 개발이 완료된 코드가 고객의 요청사항을 잘 반영하고 

있는지를 비교하고 누락된 항목을 감지해 알려줌

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

31

37)

 LGCNS(2025.5.28.), LG CNS, 시스템 개발 전 과정에 ‘AI’ 도입한다

38)

 오픈AI의 code-davinci-002 와 LLaMa-1 65B은 2023년 기준 모델 정확도는 16.6개월의 차이를 보였으

나, 2024년 기준 오픈AI의 GPT-4o와 Llama 3.1의 성능은 2.3개월로 단축, 

https://epoch.ai/blog/open-models-report

□

한편, 전방위 오픈소스 SW의 확산으로 AI 동반 성장이 전망

◦

오픈소스 SW는 전체 상용 SW의 시장 가치에 30%에 달하며 지속 성장 중

–

빅데이터 처리, 데이터베이스, 클라우드, 기계 학습 분야 등 다양한 AI 핵심 

기술 분야에서 오픈소스 SW가 중요한 비중을 차지* 

*

△전 세계의 DB의 50%가 MySQL 등 오픈소스, △OpenStack은 

프라이빗클라우드 구축을 위한 full stack을 제공 △TensorFlow 및 PyTorch를 

포함, 머신러닝 개발 및 배포에 활용되는 프레임워크 23개 중 19개가 오픈소스

–

최근에는 AI 개발 결과물을 공개하는 오픈AI 모델이 빠르게 확산되면서 

선도 기업들의 AI 주도권 경쟁*이 치열해지고 있음

*

2025년 12월 기준 허깅페이스에 등록된 오픈소스 AI모델은 약 220만개에 달하며, 

메타는 OpenAI의 기술 주도권에 대항하기 위해 공개한 라마(LLaMA, ’23.2)는 

오픈AI와의 기술격차를 줄이며38), 10억 회 이상의 다운로드를 기록(‘25.3)

–

오픈소스SW는 개발 효율성 향상, 품질 및 성능 개선, 비용 절감, 기업 

종속성 회피 같은 장점들을 통해 다양한 영역에서 활용이 증대

[그림 4-2] 상용 및 오픈소스 SW의 시장 점유 성장세 비교

*

자료: COSS Community(2022.2), Medium 재인용(2024.7)

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

32

2. 정책적 시사

□

AI 개발 전 주기를 아우르는 SW 인프라·툴체인 강화

◦

(현안) 현재 국가 차원의 AI 투자는 컴퓨팅 인프라(GPU·HPC)와 데이터 

구축에 집중되는 경향이 있으나, 이 인프라를 실제 가치로 전환하는 것은 

결국 SW 툴체인*과 플랫폼

*

툴체인(toochain) 프로그래밍, 컴파일, 디버깅, 배포, 운영 등 소프트웨어의 개발 

단계에 거쳐 단일 도구가 아닌 여러 도구가 연결되어 작동한다는 의미

–

데이터 품질관리, 전처리, 딥러닝 프레임워크, 모델 최적화, 서빙, MLOps, 

데이터센터 관리 SW 등은 모두 AI 개발 및 운영의 비용, 성능, 안정성을 

좌우하는 핵심

◦

(제안) AI 컴퓨팅 인프라 확충 정책과 연계하여, AI용 SW 툴체인 및 

플랫폼의 개발과 활용을 촉진하고 이를 위해 데이터-모델-서비스를 아우르는 

참조 아키텍처(Reference stack) 및 모범 사례를 정의하고 확산

–

공공·민간에서 재사용 가능한 표준형 데이터 파이프라인, MLOps, 모델 

서빙 환경 개발 등을 지원

◦

(기대효과) 이를 통해 국내 연구기관, 스타트업, 중견기업이 동일한 SW 

기반 위에서 실험과 배포 및 확장을 수행할 수 있도록 함으로써, AI 서비스 

개발의 고정비를 낮추고 혁신 속도를 높이는 효과 창출

□

오픈소스와 공동 개발 생태계의 전략적 활용

◦

(현안) AI의 핵심 인프라(딥러닝 프레임워크, 데이터, 클라우드, MLOps 

도구 등)의 상당수가 오픈소스로 구축되는 상황

–

미국과 중국의 기업 및 연구진을 중심으로 초거대 언어모델(LLM)을 

포함한 다양한 인공지능 모델이 오픈소스 플랫폼에서 공유

–

급성장하는 중국의 오픈소스 AI 모델에 대응하기 위해 미국은 최고 성능의 

오픈 AI 모델 제공을 목표로 오픈소스 AI 연구 생태계 구축 추진*

*

ATOM(America Truly Open Model) 프로젝트: ’25년 8월 기준 중국 오픈소스 

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

33

모델의 누적 다운로드 수(약 3.5억 회)가 미국 오픈소스 모델(약 3.3억 회)을 

역전한 상황에서 미국의 주요 연구자와 기업을 중심으로 개방형 AI 모델 연구

◦

(제안) 우리나라의 제한된 시장 규모와 자원을 고려할 때, 오픈소스를 적극 

활용하여 AI 개발의 효율성을 확보하고, 중장기적으로 글로벌 시장에서 

영향력이 있는 오픈소스 생태계에 적극 참여해 기술력을 축적

–

이를 위해 국가 R&D 및 공공사업에서 개발된 AI·SW 성과는 기본적으로 

오픈소스 혹은 개방 API 형태로 공개하도록 함

–

또한, 공동 조달 시 오픈소스 AI 모델 및 이에 기반한 응용 AI의 안전성 

요건을 마련해 관련 기업의 오픈 AI 활용 및 신뢰성 역량 제고

–

핵심 오픈소스 프로젝트(딥러닝 프레임워크, 모델 서빙, MLOps, 데이터 

품질관리 등)를 발굴하고 장기적으로 지원

◦

(기대효과) 이러한 전략은 단순한 비용 절감을 넘어, 국내 개발자·연구자의 

역량을 글로벌 수준의 개발 문화와 연결하고, 장기적으로는 국내 기업이 

글로벌 AI·SW 생태계의 핵심 기여자로 자리잡도록 돕는 기반이 될 것

□

AI-SW 통합적 인재 양성과 조직 역량 강화

◦

(현안) AI 개발 생애주기 어느 단계에서 병목이 생기더라도 전체 AI 

프로젝트의 성패가 좌우

–

AI 시대 전통적인 SW 엔지니어뿐만 아니라 데이터 엔지니어, ML 

엔지니어, MLOps·플랫폼 엔지니어, AI 제품 기획자 등 다양한 인력들이 

유기적으로 협업하는 것이 중요

◦

(제안) SW·AI 전문 인력 양성을 위한 교육 과정*을 “AI 시스템 

엔지니어링” 관점에서 통합하고, 산업 측면에서는 기존 SW 개발 조직에 AI 

전담 플랫폼의 내재화를 촉진하는 정책 필요

*

컴퓨터공학, 소프트웨어공학, 데이터과학, AI 과정 등 중복, 분리된 관련 커리큘럼

–

소프트웨어 공학에 대한 기본적 이해를 바탕으로 데이터 파이프라인 설계, 

모델 배포 및 운영, 품질 및 신뢰성 관리 등 AI 실전 개발과 운영 역량을 

통합할 수 있도록 교육 과정 개발

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

34

–

기존 SI 및 SW 개발 조직에 AI 개발 역량의 내재화를 위해 재직자 대상 

AI–SW 통합 재교육 프로그램으로 개발자 역량 강화

–

공공·민간의 대표 프로젝트를 활용하여 AI 시스템 개발 및 운영에 관한 

모범 사례(Best Practice)를 축적하고 공유

◦

(기대효과) 기업의 AI 모델 개발 능력과 더불어 이를 SW 기반의 제품 및 

서비스로 구현·확산할 수 있는 견실한 SW 생태계를 위한 인적 역량 확보

□

SW와 AI의 통합적 안전 신뢰 보장

◦

(현안) 최근 AI의 내재적 위협, AI 데이터와 모델에 대한 위협 등 AI의 

안전성 문제가 대두되고 있으며, 이를 구현하는 SW 자체의 오류 위험이 

더해져 AI 시스템의 안전 및 신뢰성이 복합적으로 위협받는 상황

◦

(제안) AI의 안전‧신뢰 보장을 위한 기본 요건으로서 SW 안전 확보에 대한 

통합적 고려를 통해 국가 디지털 안전 체계 강화 필요

–

SW 및 AI 시스템의 공공 조달 과정에서 공인된 전문 SW를 통해 안전 및 

신뢰성 확보를 검증하게 하는 등 공공 부문의 SW 및 AI의 안전 신뢰와 

확보와 함께 관련 민간 SW 산업 육성 촉진

◦

(기대효과) SW와 AI 개발 과정에서의 윤리와 안전 준수 철학을 코드와 

시스템 설계에 내재화하는 촉진 정책으로, 국내 AI 기업의 글로벌 시장 진출 

시 신뢰성 강화와 경쟁력 제고가 기대

□

SW 경쟁력이 곧 AI 경쟁력

◦

앞으로 다가올 AGI 시대에는 알고리즘 연구 못지않게, 이를 구현 및 운영할 

SW 아키텍처, 플랫폼, 도구 체계에 대한 전략적 투자가 국가와 기업 

경쟁력을 좌우하게 될 것으로 예상 됨

◦

AI 강국은 견실한 SW 생태계 없이는 불가능하다는 점을 인식하고 상보 

관계에 있는 SW와 AI의 동반 성장을 지원하는 지속적인 정책 추진이 필요

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

35

참고문헌

1. 국내 자료

■

한컴(2025.2.24.), 한컴, 클라우드 및 AI 새로운 성장 동력 입증

■

LGCNS(2025.4.28.), LG CNS, 1분기 사상 최대 실적매출액 1조 2,114억원, 

영업이익 789억원

■

LGCNS(2025.5.28.), LG CNS, 시스템 개발 전 과정에 ‘AI’ 도입한다

2. 국외 자료

■

AWS(2024.8), Amazon SageMaker와 Airflow를 이용한 SK브로드밴드의 MLOps 플랫

폼 구축 사례 

■

Amazon, 인공지능이란 무엇인가요? (2025.11.27. 기준)

■

Brett Winton(2024.3.30.), ARK Invest News letter #457

■

Apache Airflow, 

https://airflow.apache.org/docs/apache-airflow/stable/index.html#what-is-airflow, 

2025.12.12. 접속 

■

IBM, 인공지능(AI)이란 무엇인가요? 

https://www.ibm.com/kr-ko/think/topics/artificial-intelligence

■

Caelen O., and Blete M. A.(2024.8), Developing Apps with GPT-4 and 

ChatGPT: Build Intelligent Chatbots, Content Generators, and More, O'Reilly 

Media

■

Datagrom(2021.2.21.), Feature Store: Uncover Uber's Secret to Large Scale 

Machine,  Learning

■

De Rosa et al., (2024.11), On the Cost of Model-Serving Frameworks: An 

Experimental Evaluation, https://arxiv.org/pdf/2411.10337v1 

■

Github, https://github.com/facebookresearch/segment-anything, 2025.12.12. 

접속

■

Gupta et al.,(2025.5.18.), 40% faster Stable Diffusion XL inference with 

NVIDIA TensorRT

■

Hugginface, https://huggingface.co/models (2025.12.12. 접속 기준)

■

IDC(2024.9.17.), IDC: Artificial Intelligence Will Contribute $19.9 Trillion to the 

Global Economy through 2030 and Drive 3.5% of Global GDP in 2030

■

Investopia(2025.5.9), Magnificent 7 Stocks: What You Need To Know

■

Kaplan et al.,(2020.1.23.), Scaling Laws for Neural Language Models

■

Market Research Future(2025.8.), Vector Database Market

■

McKinsey(2025.11.5.), The state of AI in 2025: Agents, innovation, and 

SPRi 이슈리포트 IS-218인공지능 혁명의 숨은 동력, 소프트웨어의 역할과 함의

36

transformation

■

PSF Sponsors(2025.8.8.), Python Software Foundation

■

Nvidia(2012.9.10.), What is CUDA?

■

OECD(2025.8.10.), What is AI? Can you make a clear distinction between AI 

and non-AI systems?

■

VisualCapitallist(2024.8.14.), Charted: The Surging Value of the Magnificent 

Seven (2000-2024)

■

OECD(2024.3), Explanatory Memorandum on the Updated OECD Definitio on 

AI System

■

OECD(2019.5), Recommendation of the Council on Artificial Intelligence

■

Sophie Magnet(2025.2.3.), DeepSeek vs OpenAI: Which Is the Best AI Model?

■

The ATOM Project, https://www.atomproject.ai/, 2025.12.20. 방문

■

TechTarget(2024.12), The DCIM industry is projected to grow to $5.01 billion 

by 2029

■

Zafrir et al.(2019.10.14.), Q8BERT: Quantized 8Bit BERT, 

https://arxiv.org/abs/1910.06188 

■

Zhang et al.(2023.6.25), Faster Segment Anything: Towards Lightweight SAM 

for Mobile Applications, https://arxiv.org/abs/2306.14289

[소프트웨어정책연구소]에 의해 작성된 [SPRI 보고서]는 공공저작물 자유이용허락 표시기준 

제4유형(출처표시-상업적이용금지-변경금지)에 따라 이용할 수 있습니다.

주      의

이 보고서는 소프트웨어정책연구소에서 수행한 연구보고서입니다. 

이 보고서의 내용을 발표할 때에는 반드시

소프트웨어정책연구소에서 수행한 연구결과임을 밝혀야 합니다.

인공지능의 숨은 동력, 소프트웨어의 역할과 함의

Hidden Engine of the AI Revolution: The Role of Software and 

Policy Implications

경기도 성남시 분당구 대왕판교로 712번길 22 글로벌 R&D 연구동(B) 4층

Global R&D Center 4F 22 Daewangpangyo-ro 712beon-gil, Bundang-gu, Seongnam-si, Gyeonggi-do

 

www.spri.kr