미래를 지향하는 유럽의 통계: UNECE(United Nations Economic Commission for Europe)의 연구 동향을 중심으로

날짜2021.06.14
조회수9932
글자크기
  • 국가통계(National Statistics) 분야에서의 기계학습
    • 국가통계란 국가통계 제도를 통해 배포되는 통계를 의미한다. 국민에게 익숙한 국가통계는 국가통계포털(KOSIS)을 통해 쉽게 검색 및 참조할 수 있는 데이터들인데, 국가를 구성하는 산업, 일자리, 경제 등 거시적인 현황 지표가 주를 이룬다. 그러므로 개인 또는 개별 기업의 영리 목적보다는 국가단위의 사회적 이슈 및 실태를 진단하거나 통계 추이를 분석하는 등의 비영리적인 목적으로 활용된다.
    • 이와 같은 국가통계 상당수는 모집단을 대상으로 한 설문조사에 의해 생산된다. 1948년 12월「제 1회 총인구조사 시행령」이 공포된 이후 현재에 이르기까지, 주된 통계작성 기법으로 활용되고 있는 설문조사는 그간 수많은 시행착오 및 고도화를 거치며 정교하고 표준화된 틀을 구축하였다. 국가통계의 작성 절차, 품질 진단, 표준 양식 등 많은 통계 작성 기준이 설문조사 방법론에 기반 하였음에도 현재까지 큰 논란이 없던 것은 이와 같은 맥락에서 설명된다.
    • Scope Normative 
References Definitions
    • 그러나 최근 들어 설문조사의 강력한 대안이 고려되고 있다. 바로 기계학습이다. 국내외를 불문하고 국가통계 조사의 회수율 악화에 따른 정확도 하락, 높은 비용 등이 문제로 제기되자 인공지능 기술 도입을 통해 돌파구를 모색하려는 시도다. 이러한 논리는 기계학습이 기존 통계의 역할을 대체할 수 있음이 전제되어야만 하므로, 인공지능 기술이 재조명받기 시작한 이래 현재까지 지속적인 논의가 진행되고 있다. 2018년 네이처2가 통계와 기계학습 기법 간 갭(Gap)이 모호해지고 있음을 소개한 칼럼3이나, UN이 국가통계의 기계학습 활용에 관해 방법론적인 견해를 밝힌 보고서4 등은 이와 같은 논의의 대표적인 사례다.
    • 이처럼 국제적인 관심사임에도 불구하고 국가통계가 공공재의 성격을 가지며 데이터에 관한 높은 품질을 요구하다보니 실제 도입은 아직 요원한 실정이다. 가령 국가통계에 기계학습 기술이 도입되기 위해서는 상기 언급한 설문조사 기반의 통계 작성 기준 전반의 수정이 불가피하다. 특히나 인공지능을 포함한 데이터 과학 이론의 경우 연역적인 절차에 의한 신뢰성 확보가 아닌 결과의 정확도에 근거한 신뢰성을 담보하는 방법론5으로서, 기존 사회조사방법론의 보편적 절차에 포용되기 어렵다. 이러한 문제들은 현시점에서 도입을 가로막는 병목(bottleneck)으로 작용하고 있다.
    • 2021년 현재, 관련 이슈를 선도하고 병목을 해소하는데 실질적인 연구를 수행하는 기관은 단연 UNECE로 보인다. UN의 유럽 경제 위원회인 이곳은 국가통계의 현대화(modernization)의 방법으로 기계학습 도입을 고려한다. 그들은 유럽 국가의 통계분야 리더들을 주축으로 고위급 그룹(HLG-MOS)6을 결성하고 EU 23개국, 33개 국가 기관 및 4개 국제기관의 연구진이 모여 국가통계에 기계학습을 도입하기 위한 연구협력을 추진 중에 있다.
    • 본고는 UNECE가 중심이 되어 추진 중인「국가통계를 위한 기계학습」프로젝트의 그간의 연구 결과 및 진행 현황을 간략히 소개해봄으로써, 해당 이슈에 관한 유럽의 입장을 들여다본다. 또한 국내 통계청의 관련 이슈에 관한 움직임을 짚어보고 향후 시사점을 진단해본다.
  • 「국가통계를 위한 기계학습」프로젝트 추진 현황
    • UNECE의 국가통계를 위한 기계학습(Machine Learning for Official Statistics) 프로젝트는 2019년 3월 이래 다음과 같은 목표를 위해 추진된다.
    • ① 통계 분야의 기계학습 기술 도입을 통한 잠재적 부가가치를 정의
    • ② 국가통계에 도움이 되는 기계학습 기술 및 기능의 고도화
    • ③ 국가통계 기관의 기계학습 도입 역량 증진을 위한 노력
    • ④ 기계학습 기술 개발 및 적용과정에서 통계 조직 간의 협업을 강화
    • Scope Normative 
References Definitions
    • 그들은 연구의 범위를 3가지 주제로 분류하였다. 첫 번째는 시범 연구로, 기계학습 기술을 활용하여 통계 데이터 코딩 및 분류(Coding & Classification, C&C)와 편집 및 표본대체(Edit & Imputation, E&I), 그리고 이미지 분석을 수행하는 과업이다. 두 번째는 기계학습 활용을 뒷받침하기 위한 품질 프레임워크를 개발하는 작업이다. 뚜렷한 품질 기준이 없는 기계학습 알고리즘의 품질 척도를 개발하고 평가 절차를 마련하는 것은 새로운 기술 적용에 따른 잠재적 혼란을 최소화하는 방법이 될 수 있다. 마지막으로는 통계 생산체계 통합 방안을 모색하는 작업이다. 기계학습의 도입은 통계조직의 기존 역할에 변화를 야기할 수 있다. 또한 전문가들과의 소통, 새로운 부서의 설립과 낮선 그룹과의 협업 등 혁신에 수반되는 다양한 변화에 대응하여야 한다. 해당 과업은 이처럼 잠재적으로 발생 가능한 문제들을 구체화함으로써 도입을 고려하는 국가로 하여금 조직 체계를 어떻게 개편해야하는지에 관한 의견을 수렴하는 과정이 포함된다. 실질적인 국가 운영과 맞닿아 있는 주제이다.
    • 그들의 연구 결과는 국가별 시범 연구에 관한 개별 결과와 갖가지 의견들을 종합한 정책적 시사점으로 제시되었다. 먼저, 시범 연구는 프로젝트 세부주제에 맞춰 전담 국가가 지정된 후 2020년 4월과 11월 두 차례에 걸쳐 학술적 성과로서 국가별 공유되었다. 그 외 과업은 UNECE의 공식 위키7를 통해 지속적인 업데이트가 진행되고 있다.
  • 「국가통계를 위한 기계학습」시범 연구의 성과 및 시사점
    • 상기 프로젝트의 일환으로 수행 된 시범 연구의 세부 내용과 국가별 추진 내용은 [ 표 1 ]과 같다. 참고로 코딩 및 분류 분야 프로젝트에 참여한 미국의 경우, 근로환경 분야 통계에서 서술형 문답을 코드에 매핑(Mapping)하는 작업을 딥 러닝(Deep Learning)으로 대체하는데 성공하였다. 기계학습 방법론을 국가통계에 실제 적용한 경우는 비유럽 국가 중에서는 드문 사례이다.
    • [표1] UNECE의 국가통계를 위한 기계학습 프로젝트 중 시범 연구 현황
      [표1] UNECE의 국가통계를 위한 기계학습 프로젝트 중 시범 연구 현황
      주제 국가 세부주제
      코딩 및 분류 (C&C) 멕시코 자연어 처리를 활용한 직업 및 경제 활동 코딩
      캐나다 산업 및 직업 분류체계 코딩
      벨기에 트위터 데이터의 감정 분석
      세르비아 노동력 조사에서 수집한 경제 활동에 관한 비정형 데이터 코딩
      미국 직장 상해 및 질병 코드 분류
      폴란드 ECOICOP8에 대한 설명 데이터 코딩
      IMF IMF의 시계열 카탈로그를 활용한 자동 코딩
      아이슬란드 사회 통계 조사에서 직업 및 산업의 자동 코딩
      노르웨이 표준 산업 코드 자동화 분류
      편집 및 표본대체 (E&I) 이탈리아 개인 기본 등록부에서 “교육 수준 달성”변수의 표본대체
      폴란드 폴란드 거주 인구에 대한 표본 조사의 표본대체
      독일 표본대체를 위한 기계학습 알고리즘 전반 검토
      벨기에 기계 학습을 사용한 에너지 잔량 통계의 조기 추정법
      캐나다 에너지 잔량의 조기 추정을 위한 시계열 모델
      영국 생활비 조사 소득 데이터 편집
      이탈리아 이탈리아 행정통계 편집
      이탈리아 NSI9의 데이터 편집 및 정리를 위한 기계 학습
      이미지 분석 (E&I) 호주 자동 이미지 인식 (AIR) 모델 개발
      네덜란드 이미지에서 통계 정보 학습 : 개념 증명
      스위스 Arealstatistik Deep Learning(ADELE) 개발
      멕시코 Landsat 위성 데이터 분석을 통한 도시 지역 인구 매핑
      UNECE 위성 데이터 및 기계 학습을 사용하여 국가통계를 생성하기 위한 일반적인 파이프라인 제시
    • (코딩 및 분류)
    • UNECE의 보고서10에 따르면 코딩 및 분류 작업에 기계학습 기술을 도입 시, 데이터 세트의 크기에 관계없이 빠른 분석 속도와 우수한 예측 결과를 얻을 수 있는 것으로 나타났다. 그들은 코딩 및 분류를 기계학습 기술을 도입하는데 최적화 된 활용처로 추천하였다.
    • 한편 기계학습 도입 결과의 정확도가 활용 가능 수준까지 고도화되기 위해서는 지속적으로 학습 데이터를 구축 및 축적해야 한다는 점을 강조했다. 또한 코드 분류를 인간이 직접 수행했을 때와의 비용 편익에서는 (1) 국가별 통계조직의 기계학습 기술 역량, (2) 시간 경과에 따른 소요 비용 변화 등의 변수가 존재하므로, 단기적인 효율보다는 장기적인 관점에서 비용 효율이 발생할 것이라 예상하였다.
    • (편집 및 표본대체)
    • 해당 과업은 조사 과정에서 빈번히 발생하는 잘못된 데이터 또는 결측 값(missing value)을 보완함으로써 통계 수치에 직접적인 영향을 끼칠 수 있다. 이 점을 고려해서인지 UNECE는 기계학습에 기반 한 편집 및 표본대체의 완전 자동화를 추천하지 않는 것으로 나타났다11. 보고서는 기계학습 기술을 특정 의심 데이터에 관한 의사결정을 지원하는 보조 수단으로 사용하는 것을 권장한다. 예컨대 기계학습은 오기가 의심되는 데이터를 추천하는 용도로 활용할 수 있을지언정, 편집 및 표본대체의 대상이 되는 수치의 결정은 반드시 관련 전문가의 노하우가 요구됨을 강조하고 있다.
    • (이미지 분석)
    • 각 국의 이미지 분석 실험은 딥 러닝 기반의 위성사진 분석에 집중되는 경향을 보였다. 주로 자국의 영토에 대한 지적조사 및 주소 등록을 자동화 하는데 목적을 두었다. UNECE는 보고서12를 통해 해당 프로젝트에 참여한 국가별 제안 모델과 각각의 분석 정확도를 공개하였다. 실험 결과 호주의 경우 컨볼루션 신경망(Convolution Neural network, CNN)을 분석 데이터에 맞게 커스터마이징한 모델을 통해 96.9%의 위성 이미지 분석 정확도를 달성하였으며 그 외 네덜란드, 스위스의 경우 서로 다른 CNN모델을 활용하였으나 각각 74.0%, 90% 수준의 정확도를 달성하여 보완을 계획하고 있는 것으로 나타났다. 멕시코의 경우 4개국 중 유일하게 딥 러닝이 아닌 엑스트라 트리 모델(Extra-Tree model)을 사용하였는데, 93.87%라는 높은 정확도를 달성한 점이 특징적이다.
    • 한편 UNECE는 딥 러닝 기반의 학습이 특수한 하드웨어(ex: 고성능 컴퓨터)의 사용을 강제하는 측면이 있고, 대량의 기밀 데이터를 학습시키는 과정에서 보안 문제가 발생할 수 있음을 지적하였다. 이를 해결하기 위해서는 고성능 하드웨어를 내부 데이터센터에 통합하는 방안을 강구해야 한다 지적했다.
  • 「국가통계를 위한 기계학습」기계학습 기술을 수용하기 위한 요소
    • 국가통계에 기계학습 기술을 도입하고자 하는 취지나 목적이 타당하더라도 통계조직이 기존의 역할을 탈피해 새로운 기술을 수용하는 것은 어려운 문제이다. 그러므로 UNECE는 통계조직이 기계학습 기술을 통계의 일부로 수용하는데 필요한 총 6가지 요소를 제시하였다. 이는 [ 표 1 ]의 연구 과정에서 제기된 다양한 의견과 품질 평가 기준, 생산체계 통합 등의 논의가 종합된 결과다.
    • ① 비즈니스 수요에 부합
    • 기계학습 기술은 목적을 이루기 위한 수단으로 바라보아야 한다. 단순히 도입을 고려하거나 채택해서는 안 되며, 통계분야를 개선하는데 알맞은 수단으로 평가될 때 가치가 있다.
    • ② 품질 프레임워크의 제공
    • 기계학습 기술 도입을 위하여 기존의 통계 산출방법보다 우수하거나 더 나은 품질의 결과임을 증명할 필요가 있다. 이를 위해 QF4SA13를 따르는 것이 권장된다.
    • ③ 부가가치 입증
    • 현재는 기계학습 알고리즘과 기존 통계 작성기법 간 성능을 비교할 수 있는 기준이 없다. 그러므로 현 시점의 부가가치 입증은 조사통계와 동일한 결과를 보장하면서 기존 통계작성 대비 적시성과 간접적인 비용효율을 높이는데 있다.
    • ④ 시간 경과에 따른 성능 향상
    • 기계학습 솔루션을 도입하는 데는 여전히 많은 문제점이 존재한다. 기계학습 모델이 시간이 지남에 따라 성능을 현재보다 개선할 수 있음이 입증되어야만 실제 도입이 고려될 것이다.
    • ⑤ 윤리 및 법적 고려사항에 관한 존중
    • 데이터에 기반 한 인공지능 모델은 기대하지 않은 편향성(bias)를 내포할 수 있으므로 알고리즘 공정성이 고려되는 추세이다. 통계분야 또한 기계학습 기술을 활용하고자할 때 검토되어야 할 요소이다.
    • ⑥ 다양한 분야의 견고한 과학적 근거를 포용
    • 국가통계 기관은 검증된 방법과 프로세스에 기반 한 통계 생산을 수행해왔다. 기계학습 기술 또한 동일한 기본 원칙에 따라 개발되고 구현될 시 수용의 여지가 높아질 것이다. 통계학, 정보학, 데이터 과학 등 최대한 많은 기존 학문을 활용해 기계학습 기술의 도입 근거와 기준을 마련하려는 노력이 필요하다.
  • 「국가통계를 위한 기계학습」기계학습 기술 도입을 촉진하기 위한 요소
    • 특정 기술의 도입을 촉진하는데 있어 기술적 완결성뿐만 아니라 환경적 측면의 고려도 중요하다. UNECE는 기계학습 솔루션 활용을 촉진하기 위해 필요한 요소에 관해 논의하였고 당면한 과제들을 제시하였다.
    • ① 다양한 도메인의 협력
    • 활용 가능한 데이터가 급증함에 따라 데이터 특성에 따른 확보 및 활용 방법이 다를 수 있다. 같은 맥락에서 특정 데이터의 경우 개인 또는 소수집단이 접근하기 어려울 수 있다. 이를 해결하는 것은 통계 조직이 직면한 주요 과제이다.
    • ② 컴퓨팅 환경
    • 기계학습 기술을 활용하기 위한 하드웨어 환경을 검토하는 것 또한 향후 도입 촉진에 있어 주요한 이슈이다.
    • ③ 연구 개발(R&D)
    • 통계 도입 목적에 맞게 기계학습 알고리즘을 조정(tuning)하는 R&D가 추진되어야 한다. R&D의 추진 전략은 전문가 간 견해차가 발생하는 부분인데, (1)통계에 특화된 기계학습 기술을 개발 후 도입 통계를 선정, (2)통계분야의 개선 수요를 파악 후 최적화 된 기계학습 기술을 개발이 그것이다. 전자의 경우 기계학습 기술 R&D를 통해 실제 도입 전 통계 조직의 기술 경험을 축적하는데 초점이 있으며, 후자는 개선 수요에 의해 기술을 개발해야만 기술 수용을 이끌어내는데 효과적임을 주장하고 있다.
    • ④ 공유 및 협업
    • 프로젝트 구성원들은 연구과정에서 파생된 문서, 방법론 및 참조 기술, 학습 자원, 회의 내용 등을 모두 공유하였다. 여기에는 기계학습 모델의 코드와 데이터도 포함되었는데, UNECE는 국가 간 데이터 공유가 전반적인 실험성과 및 실험 속도 촉진에 큰 도움이 되었음을 강조하고 있다.
    • ⑤ 고위 그룹의 지원
    • 기계학습 기술 도입은 국내외 조직의 참여와 통계전문가의 지속적 지원 없이는 성공하기 어려운 과업이다.
    • ⑥ 모든 직원의 참여
    • 기계학습 기술은 기존 통계분야 인력의 역할을 완전히 대체할 수 없으며 그렇게 인식되어서는 안된다. 이러한 인식을 통해 모든 조직원이 기계학습 기술 도입을 고려하도록 유도해야만 한다.
    • 또한 통계 조직이 기계학습 도입에 대한 검토 및 결정을 신속하게 지원하기 위하여 인공지능 전문가 또는 관련 센터에 접근이 용이하도록 조치가 필요하다.
  • 국가통계를 위한 기계학습」2021년 연구 방향
    • 지금까지 소개한 UNECE의 연구 결과는 수많은 유럽 및 협력 국가의 연구를 통틀어 축약한 일부 내용으로 전체 연구를 아우른다고 보기 어렵다. 다만 전반적인 프로젝트의 얼개를 파악하는 데는 도움이 될 것이라 생각된다. [ 표 2 ]는 현재까지 이루어진 연구주제와 2021년에 추진 중이거나 예정 된 연구주제를 나타낸다. 예정 계획을 검토해보면 시범 연구의 경우 코딩 및 분류(C&C) 분야의 통계 레코드 연계에 관한 본격적 논의가 시작될 것으로 보이며, 성공적인 성과를 달성한 위성데이터 분석을 고도화함으로써 실제 통계 생산단계로 유도하는 과정을 거칠 것으로 전망된다.
    • [표2] 국가통계를 위한 기계학습 프로젝트의 연구 방향
      [표2] 국가통계를 위한 기계학습 프로젝트의 연구 방향
      연구기획 목표단계 아이디어→유효한 솔루션(시범) 아이디어→유효한 솔루션(운영) 생산견고성 보장(유지보수)
      (~'20) 모든 분야의 시범 연구 일부 분야의 시범 연구 -
      기타 기계학습 어플리케이션 기타 기계학습 어플리케이션
      통계 생산체계 통합 통계 생산체계 통합
      (~'21) 서로 다른 통계 데이터의 레코드를 연계 매핑하는 연구 위성데이터 분석 고도화 등
      지원방안 지원유형 품질 좋은 훈련데이터 기술/역량 컴퓨팅 인프라 상호 운용성/절차 윤리 및 법률 보안
      (~'20) 품질평가 통계 생산체계 통합
      (~'21) • QF4SA의 실질적인 도입방향성 도출

      • 양질의 데이터습득 방법

      • 데이터 상태를 최신 상태로 유지하는 방법

      • 모델 재학습 시기

      • 양질의 기준 정립 및 품질 측정방법

      • 기술의 정의

      • 교육방법 마련

      미정 미정 윤리가이드라인 및 규정 재정 미정
      • QF4SA 프레임워크 검토 및 개선
      촉진방안 유형구분 조직 공유 및 협업
      (~'20) 통계 생산체계 통합 HLG-MOS 기계학습 프로젝트
      (~'21) • 기계 학습 솔루션의 통합을 가속화하기 위한 이니셔티브 ML 연구 및 코드
      • 데이터 과학의 리더 네트워크 구축 교육 훈련

      • 향후 2~5년을 어떻게 더 잘 준비할 수 있을지

      • 향후 어떤 기술과 데이터 원천을 기대할 수 있는가

      • 어떤 기술이 필요한가

      HLG-MOS ML 프로젝트 웨비나
    • 표준 및 규정 등의 지원 방향에 있어서는 품질 평가기준인 QF4SA의 고도화, 훈련 데이터의 세부적 품질 기준 마련, 관련 교육체계에 관한 의견수렴, 윤리 가이드라인 재정 등이 추진될 것으로 보인다.
    • 마지막으로 기계학습 도입 가속화를 위하여 고위급 그룹의 네트워크를 강화를 꾀하고 있는 것으로 나타났다.
  • 한국의 통계 체계 개편 현황과 시사점
    • 유럽의 통계 혁신을 위한 행보와는 달리 미주·아시아권에서의 관련 이슈는 상대적으로 진행이 늦은 편이다. 특히 유럽은 UNECE라는 UN산하 조직을 위시하여 긴밀한 국가 간 협업이 진행되는 것과 달리 ESCAP14는 관련 이슈를 공식적으로 다루지 않고 있으므로 해당 이슈에 대한 국제 연구가 활성화 되지 않은 것은 어찌 보면 당연한 수순이다.
    • 국내의 경우 최근 빅데이터 활용 통계에 관한 관심이 높아지면서 빅데이터 활용 통계를 국가통계관리체계 내 편입시키기 위한 갖가지 연구들이 진행되었다. 특히 이러한 연구의 주안점은 조사통계 외 통계를 수용하기 위한 국가통계의 심사 기준 완화와 승인 범위 조정에 초점을 두고 있다. 2021년 현재 추진 중인 통계관리체계 개편15이 그 시작점으로, 빅데이터 활용 통계를 포함한 대안통계들을 국가통계체계로 관리하기 위하여 전에 없던 실험통계(Experience Statistics)16 제도 신설을 예정하였다. 국내 통계청이 불과 몇 년 전까지 빅데이터 활용 통계의 생산을 신뢰성 등의 이유로 권장하지 않던 것과 대비해보면 괄목할만한 변화로 볼 수 있다.
    • Scope Normative 
References Definitions
    • 문제는 제도적인 기회 개방과 함께 신규 방법론의 기준 정의 및 표준화 연구가 병행되지 않고 있다는 점에 있다. 국가통계를 관리하는 통계청 및 통계작성기관은 통계의 품질을 보장하고 관리할 의무를 가진다. 하지만 기계학습이나 빅데이터를 활용해 생산된 통계의 기준은 기존에 마련된 조사통계 기반의 품질측정 척도로 평가되기 어렵다. 이는 본고에서 유럽의 연구 현황을 짚어보았던 이유이자, 국내 또한 이와 같은 연구가 조속히 이루어져야할 명분이 될 수 있다.
    • Scope Normative 
References Definitions
    • 작년 소프트웨어정책연구소는 해당 이슈와 관련한 보고서 발간을 통해 인공지능 기술에 관한 평가척도 및 각종 가이드라인의 필요성을 언급하였다17. 이윽고 동년 9월, 데이터 사이언스 포럼에서도 국가통계의 발전전략의 일환으로 해당 이슈가 제기18되기에 이르렀다. 그럼에도 불구하고 여전히 극히 일부만이 관심을 가지는 사안인 것은 불행한 일이다.
    • 국가통계의 인공지능 기술 도입, 어쩌면 신기술 도입에 의한 공공부문의 가장 큰 혁신 성과가 될 가능성이 있다. 차츰 일부가 아닌 모두의 이슈가 되기를 바라본다.
    • 2 nature.com
    • 3 B. Danilo 외 2, “Statistics versus machine learning,” Nature Methods 15, 233-234(2018)
    • 4 “The use of machine learning in official statistics”, UNECE(2018)
    • 5 L. Bertrand, K. Diego, “Are Current Frameworks in the Official Statitical Production Appropriate for the Usage of Big Data and Trusted Smart Statitics?”, DGINS(2018)
    • 6 High-Level Group for the Modernization of Official Statistics
    • 7 statswiki.unece.org
    • 8 유럽 개별 소비 지출
    • 9 국립 통계국(National statistical institute)
    • 10 UNECE – HLG-MOS Machine Learning Project-Classification and Coding Theme Report
    • 11 UNECE – HLG-MOS Machine Learning Project-Edit and Imputation Theme Report
    • 12 UNECE – HLG-MOS Machine Learning Project-Imagery Theme Report
    • 13 Quality Framework for Statistical Algorithms의 약어로 UNECE 국제 통계 그룹을 통해 도출 된 기계학습 알고리즘을 포함 가능한 품질 표준(안)
    • 14 유엔 아시아·태평양 경제사회위원회(United Nations Economic and social Commission for Asia and the Pacific)
    • 15 통계청(2020.12), “빅데이터 활용 통계 등 통계 다양성 확대를 위한 국가통계관리체계 개편 기본계획(안)”
    • 16 빅데이터 활용 등 기존 통계와 다른 데이터나 방법론을 적용하여 작성한 통계로, 작성 이후 품질 제고를 위한 관찰기간이 필요한 통계
    • 17 소프트웨어정책연구소(2020.05), “AI기술의 국가통계 활용 사례 및 국내 도입 촉진 방안”
    • 18 서울대학교 박성현 명예교수, “AI와 데이터 사이언스의 역할과 국가통계 발전전략” 기고문 중