SPRi - 소프트웨어정책연구소

빅데이터(Big Data)의 특성과 동향

안성원AI정책연구실 실장

2016.09.21

50700

글자크기

- 빅데이터의 특성
- 미래 ICT 산업을 선도할 4차산업혁명의 핵심기술요인으로 데이터를 수집 및 분석하여 미래를 예측하고 새로운 가치를 창출
- 데이터를 생성 및 수집하는 IoT, 생성된 빅데이터를 분석하기 위한 인공지능과 직접적으로 연계
- 빅데이터의 산업 동향
- 글로벌 기업과 정부를 중심으로 다양한 활용사례
- 국내 및 글로벌 빅데이터 시장은 IoT, 인공지능과 맞물려 급성장할 전망
빅데이터의 개요
- 빅데이터는 기존의 데이터 분석역량을 넘어서는 방대한 분량의 데이터
- 디지털 기기 및 센서 등의 보급화를 통해 실생활에서 규모를 가늠하기 힘든 수준의 많은 정보와 데이터가 생성
- 이렇게 생성된 데이터들은 규모의 방대함 뿐만 아니라 데이터의 종류와 속성도 다양하며 매우 빠른 주기로 생성⁽¹⁾
- 빅데이터의 생성은 디지털기기와 센서를 이용한 사람 및 기계간의 정보를 주고받는 환경의 확산으로 점차 가속화
- 사물인터넷(IoT⁽²⁾) 이나 M2M⁽³⁾ 환경의 확산을 통한 막대한 정보의 생성
- 사용자가 직접 제작하는 동영상 및 SNS⁽⁴⁾ 등을 통한 데이터의 증가
- 빅데이터의 분석을 통해 새로운 가치를 창출
- 생성된 빅데이터를 필요한 목적에 맞게 가공하고 분석하여 새로운 결론을 얻고, 이를 통한 최적의 답안을 제시
- 또한 빅데이터에서 얻을 수 있는 기존의 패턴 분석으로 향후에 일어날 현상이나 상태를 예측하고 대응
사물인터넷과 빅데이터
- 빅데이터의 분석을 위해서는 대량의 데이터가 공급되어지는 구조가 필요
- 사물인터넷 환경에서는 다수의 센서들로 이루어진 센서 네트워크로부터 방대한 양의 데이터가 생성
- 사물인터넷 환경 속의 수많은 센서 네트워크에서 쏟아지는 실시간 데이터들은 빅데이터의 특징을 고스란히 갖고 있음
- 이러한 데이터들은 빠르게 지속적으로 생성되고, 비정형 데이터이기도 하며, 수집한 데이터의 양은 매우 방대
- 사물인터넷 환경이 목적에 맞게 제대로 동작하기 위해서는 빅데이터에 대한 분석과 가공이 필요
- 수집된 데이터 자체만으로는 가치를 살릴 수 없고, 목적에 맞는 데이터 분석과 처리가 필요
- 미래사회에는 거의 모든 사물에 센서가 부착되며, 여기서 생성되는 데이터를 어떻게 처리하느냐에 따라 해당 정보를 처리하는 기관 및 단체의 가치가 달라짐
- 결론적으로, 사물인터넷 환경은 필연적으로 빅데이터를 생성하며, 빅데이터 분석을 위해서는 사물인터넷을 위한 센서네트워크와 같은 데이터 생성 및 수집 체계가 필요
- 사물인터넷과 빅데이터는 상호 필요충분 조건하에 있음
인공지능과 빅데이터
- 빅데이터 처리 기술이 지향하는 모델은 딥러닝(Deep Learning)
- 수많은 데이터를 컴퓨터에 주입하고 해당 데이터가 의미하는 바를 스스로 해독할 수 있도록 만드는 것
- 빅데이터 처리를 위한 목표는 컴퓨터에 인공적 지능을 부여
- 딥러닝을 통해 방대한 양의 데이터로부터 목적에 맞는 최적의 답안을 찾음
- 의료 분야의 경우, 수많은 임상실험 데이터와 환자 치료데이터를 기반으로 학습하여 사람보다 정확한 진단과 치료방안 제시
- 자동차 분야의 경우, 차량 비전시스템으로부터 수집된 영상 빅데이터를 학습하여 차량 주변을 판독하고 안전하고 정확하게 차량 움직임을 제어
- 이 밖에도, 천체 시뮬레이션, 기상예측, 유전체 돌연변이 연구 등 빅데이터를 갖는 모든 분야에 인공지능이 활용
- 결론적으로, 빅데이터를 학습하고 분석하여 가장 효과적인 답안제시를 위한 인공지능 기술은 필수적
- 최근 빠른 정보처리를 위한 하드웨어의 성능이 올라가고 과거에 비해 상대적으로 가격이 저렴해 지면서, 많은 계산량을 필요로 하는 딥러닝 알고리즘이 기존 방식을 능가하며 그 성능을 입증
빅데이터 활용 사례
- 2016년 올림픽을 개최한 브라질 리우데자네이루의 지능형운영센터
- 도시 관리 및 긴급 대응 시스템으로 IBM의 분석 솔루션이 적용되어 자연재해를 비롯한 교통 및 전력 인프라에 대한 통합 관리
- 48시간 이전 폭우 예측 기능 보유
- 싱가포르의 교통량 예측 시스템
- 차량의 증가로 인한 교통체증을 해소하기 위한 시스템으로 85%이상의 정확도로 교통량을 측정
- 싱가포르 육상교통청(LTA)의 지능형 교통망 시스템은 싱가포르 전체의 교통망을 관리하며 실시간으로 차량 움직임을 인지하여 대응
- GE의 산업 인터넷
- 스마트팩토리(Smart Factory) 실현을 위해 GE소프트웨어를 별도로 설립하고, 빅데이터 분석 플랫폼 Predix를 개발
- Predix가 대부분을 차지하는 소프트웨어 부분에서만 올해 매출 70억 달러 달성 목표
- 아마존의 예측 배송
- 빅데이터 분석을 통해 고객의 패턴을 파악하고 구매를 추천
- 또한 고객이 구매하기 전에 고객들의 기존 검색 및 주문내역, 쇼핑 카트에 담아놓은 상품, 반품내역, 마우스 커서가 머무른 시간 등을 분석하여 배송을 준비하는 시스템인 예측 배송(anticipatory shipping)을 구현
- 후지쯔(Fujitsu)의 농업용 빅데이터 분석 솔루션
- 농지 기후 및 토양 등 환경정보를 센서로부터 수집한 데이터와 과거 수확실적 데이터 등을 비교 분석하여 파종, 농약살포, 수확시점 등을 결정
- 넷플릭스(Netflix)의 스트리밍 서비스 가입자 영화시청 패턴을 분석하여 사용자별 선호도가 높은 컨텐츠의 추천
- 중장비 제조업체 코마츠(Komatsu)의 KOMTRAX 시스템
- 코마츠에서 제조한 건설기계 차량에 각종 센서를 부착하여 차량의 현재 상태 및 정상 작동 여부를 체크, GPS를 통한 위치 확인
- 차량의 엔진 과열, 부품내 유압의 저하, 각종 경보데이터, 연료상황 등 수집된 데이터를 통신위성 및 이동 통신망을 통해 사내 서버에 저장하고 이를 분석하여 장비 구매자들과 대리점에 제공
- 장비구매자의 관리비용 절감, 고장원인의 추정용이 등과 같은 효과
빅데이터 시장 동향
- 세계 시장 동향
- 세계 빅데이터 시장은 현재도 성장 중이며, 시장조사기관 마다 규모의 차이는 다소 있으나 공통적으로 높은 성장률을 예측
- IDC의 자료에 의하면 빅데이터 시장을 크게 인프라, 소프트웨어, 서비스 등 3가지로 분류하고 모두 성장할 것으로 전망하며, 전 세계 빅데이터 인프라 시장은 2019년 까지 486억 달러 규모(연평균 성장률 23.1%)에 이를 것으로 전망
- 미국 지디넷은 빅데이터 및 분석 시장이 2019년 까지 1,879억 달러 규모(연평균 성장률 50%)로 성장할 것으로 전망
- 국내 시장 동향
- 국내 빅데이터 산업은 아직까지는 도입 초기 수준이나 기업 전반에서 실질적인 인프라를 구현하려는 단계로 접어듬
- 2015년 기준 국내 빅데이터 시장규모는 2014년 대비 30% 성장한 2,623억 원 규모이며, 한국과학기술정보 연구원에 의하면 국내 빅데이터 시장은 2020년 까지 8억 9천만 달러(한화 약 1조 원)규모까지 성장할 것으로 예측
- 빅데이터 관련 정부투자 또한 2013년 230억원에서 2015년 기준 698억 원으로 세 배이상 증가
- 또한 관련 시장인 글로벌 IoT 시장은 2015년 기준 6,558억 달러 규모에서 2020년에는 1조 7천 억 달러 규모(연평균 16.9% 성장)를 형성할 것으로 전망
- 아시아 지역의 IoT 기기도 31억 대에서 86억 대 규모로 증가
- 빅데이터가 IoT와 결합하면서 웨어러블, 유통, 교통, 국방, 보안, 의료 등 다양한 분야에 폭넓게 적용
- 제조업 중심의 우리나라는 스마트팩토리와 같은 인더스트리(Industry) 4.0 구현의 중요한 시장으로 자리매김
- 빅데이터 분석의 효율적인 방안인 인공지능 시스템의 글로벌 시장 또한 최대 연평균 56.1%의 높은 성장률로 2024년 412억 달러 규모로 성장 예상⁽⁵⁾
국내 빅데이터 활용 현황
- 국내 기업의 빅데이터 도입율은 전체기업 기준으로 약 4.3% 수준⁽⁶⁾
- 국내 기업의 빅데이터 활용 성장률은 중대형 업체의 경우 20~25%, 중소업체의 경우 5~8% 수준
- 반면, 외국계 IT 기업은 30% 수준의 성장세
- 국내 기업의 향후 빅데이터 수요는 전체기업의 30.2% 수준이며, 도입 고려 시기는 2018년(77개)과 2019년(98개) 이후가 많음
- 국내의 빅데이터 기술 수준은 선진국(100) 대비 62.6% 수준⁽⁷⁾
- 기술 수준 격차는 약 3.3년 뒤쳐져 있는 것으로 분석
- 국내 기업들의 빅데이터 분석 도입 수준이 뒤처지는 이유는 빅데이터 분석을 할만큼 풍부한 데이터가 부족하기 때문
- 데이터 분석의 고도화를 위한 환경 조성의 부재
- 또한 빅데이터 분석을 통한 성공사례가 많지 않아 레퍼런스가 부족
시사점
- 빅데이터 산업은 사물인터넷 및 인공지능의 성장과 더불어 4차산업혁명의 핵심 요인
- 현재 글로벌 차원의 다양한 빅데이터 활용 및 제품화, 산업적용이 선진국 중심으로 이루어지고 있음
- 국내의 빅데이터 및 분석 시장은 아직은 도입단계로 선진국 대비 미흡
- 국내 기업들의 빅데이터 분석 활용을 활성화 하기 위한 환경 조성이 필요
- 정부차원에서도 빅데이터 분석을 확산시키기 위한 다양한 시범사업들을 추진 중
- 사물인터넷 및 인공지능과 직접적으로 연관된 빅데이터 시장을 선도하기 위한 방안 마련 필요
- 빅데이터 분석 성공 사례를 창출하고 전파하는 민·관 합동의 노력이 필요
- 이미 분석된 빅데이터 결과를 통한 가치창출 보다 기업들이 대량의 데이터 확보와 축적을 통해 직접 빅데이터 분석 및 가치창출을 하기 위한 노력, 빅데이터의 중요성에 대한 인식 변환이 동반되어야 함
- (1) 빅데이터의 특징으로 3V(데이터의 양(Volume), 다양성(Variety), 생성속도(Velocity))라고 하며, 최근에는 가치(Value), 진실성(Veracity)을 포함하는 개념인 5V로 확장
- (2) IoT(Internet of Things) : 사물인터넷, 모든 사물이 네트워크로 연결되어 서로 통신하며, 실시간으로 데이터를 주고받는 기술 및 환경
- (3) M2M(Machine to Machine) : 기계와 기계간에 이루어지는 자동화된 통신으로 Home Automation, U-helthcare, Smart Grid, Ubiquitous Sensor Network 등이 있음.
- (4) SNS(Social Network Service) : 사람들 사이의 관계망을 구축해주는 온라인 서비스로 메신저, 트위터, 페이스북 등이 있음.
- (5) 프로스트 설리반(Frost & Sullivan) 및 BBC 전망 자료, SPRi-인공지능 기술개발 및 산업동향 참조.
- (6) 한국정보화진흥원(NIA), 2015년 빅데이터 시장현황조사, 2016. 자료 참조.
- (7) 한국정보화진흥원(NIA), 2015년 빅데이터 시장현황조사, 2016. 자료 참조.