Mid/long-term SW R&D project candidates discovery and promotion system
임영모,최민석
공동연구기관 : 한국전자통신연구원
중장기 대형 SW R&D 과제후보 발굴 및 추진체계
본 연구는 선진국과의 소프트웨어 기술 격차를 획기적으로 줄이기 위한 퀀텀점프 전략의 추진 방안을 찾아보는데 있다. 퀀텀점프 전략을 추진하기 위해서는 과제 발굴에서 사업 수행까지 R&D 프로세스 전체 과정에서 기존과는 다른 방법을 사용해야 한다. 이를 위해 본 연구에서는 R&D 프로세스 전반에 걸친 개선점 도출과 중장기 대형 SW R&D 과제 후보 발굴을 위한 방법론을 개발하는데 중점을 뒀다.
새로운 R&D 추진체계를 모색하기 위해 미국 DARPA 프로그램을 살펴보고 현재 정부 R&D 기획 및 수행체계와 비교 분석했다. 퀀텀점프를 위한 R&D 추진체계 개선 방향은 다음과 같다.
① (실질 수요에 기반한 과제 기획) DARPA는 구체적인 군대의 실질 수요와 과학기술의 혁신적 진보를 연결하는데 초점을 두고 사업을 기획한다. 반면 국내 과제는 연구 목표를 실제 사용하는 것에 두고 있지 않아서 세부 과제간 유기적 연계가 약하고 역량 결집이 어려운 문제점을 가지고 있다.
② (하향식(Top-Down) 과제 기획을 강화) DARPA에서는 PM이 주도적인 역할을 하고 연구자들은 기술 전문가로서 해결 대안 탐색에 집중한다. 우리나라에서는 연구자들이 해결 대결의 탐색뿐만 아니라 기술의 사용처와 그 수요까지 함께 제안한다.
③ (상시적 과제 기획 운영) 현재 국내 소프트웨어를 비롯한 정보통신 분야의 과제 기획은 과제기획위원회를 중심으로 이루어진다. 과제기획위원회는 통상 특정 시점, 주로 연말에 1~2달 정도의 제한된 기간 내에 운영된다. 짧은 기간에도 불구하고 후보 발굴과 확정, 비교 검토, 선정, 상세 기획까지 빠르게 진행된다. 그러다 보니 기술 격차 극복을 위해, 특히 기술 선도국의 움직임을 포괄적으로 검토하기 어렵다.
④ (CP와 과제책임자의 역할 재정립) 우리나라에서 소프트웨어 관련 R&D 과제기획은 정보통신진흥센터(IITP)에 소속된 CP(Creative Planner)를 중심으로 이루어진다. CP가 과제기획을 하지만 과제책임자 선발 및 운영에는 관여하고 있지 않아 DARPA PM의 권한 및 재량과는 크게 차이가 난다. 그래서 CP는 DARPA의 Director 역할을 담당하여 과제를 기획하고 추진할 최고 수준의 인력을 선발하고 지원하는 업무를 담당한다. PM 역할을 담당할 총괄 과제책임자는 DARPA처럼 직접 연구를 수행하지 않고, CP실에 소속되어 과제 기획과 운영에만 전념하도록 하는 방안이 필요하다.
⑤ (과제 운영의 유연성 확보) 기획단계에서 불확실성을 최소화할 수 있도록 1년 정도의 탐색 연구 시간 및 예산을 지원해야 한다. 또한, 과제 성격에 맞게 과제책임자가 단독 수의 계약, 공모, 경쟁 방식 등 모든 방식을 용인하여 현장 중심(Street-level)의 연구 수행이 될 수 있도록 노력하여야 한다. 과제책임자는 세부 과제 간의 전략적 보완관계를 끊임없이 모니터링하고 언제든 과제의 통합 및 종료가 가능하도록 하는 것이 필요하다.
미국과 유럽연합에서 현재 수행중인 과제를 대상으로 아래 표와 같이 4단계로 구성된 프로세스를 통해 향후 우리나라에서 획기적인 기술격차 축소를 위해 추진할만하다고 판단되는 4개의 과제 후보를 발굴했다. 이때 검토 범위를 기술 선도국의 과제로 한정한 것은 본 연구의 목적이 기술격차 축소에 있기 때문에 구체적인 과제 단위에서 목표점을 찾기 위함이다. 또한 이들 과제는 이미 해당 국가에서 사업성, 파급효과 등을 검증한 것으로 평가할때 기술적인 부분만 집중할 수 있는 장점이 있다.
[표]중장기 대형 SW과제 발굴 프로세스(원문 참조)
우선 미국의 DARPA, IARPA, NSF와 EU의 Horizon2020 프로그램에서 현재 수행하고 있는 과제 중 SW와 관련 있는 3,322개를 뽑아 후보 Pool을 구성했다. 후보 Pool을 대상으로 DARPA, IARPA는 기관별, 과제 수가 많은 NSF, Horizon2020은 각각 CPS(Cyber-Physical Systems), 빅데이터 분석, 클라우드 컴퓨팅, HPC(High-Performance Computing), 오픈 소스 소프트웨어(OSS)로 나누어 총 12개 그룹별로 예비 후보선발을 위한 검토를 진행했다. 각 그룹별로 적게는 4개 많게는 14개까지 선발하여 총 108개 과제가 예비 후보로 압축됐다.
예비 후보는 다시 12개 분야별로 3∼4인으로 전문가 그룹을 구성하여 중장기 대형 소프트웨어 R&D과제 기획 대상으로 적합한 여부의 의견을 수렴했다. 적극 추천과 배재 희망의 양 극단에 해당하는지만 표현하게 했다. 기본적으로 최소 2명 이상의 전문가가 적극적으로 추천하고 동시에 한 명이라도 배제를 희망하지 않은 것들을 후보로 선정하여, 총 21개의 과제가 최종 평가를 위한 후보가 되었다.
최종 후보 선정은 10명의 후보 검토위원회를 구성하고 21개 후보들을 3차에 걸친 비교 검토를 통해 진행했다. 최종 후보 선정은 후보들 간의 쌍대 비교를 통해 이루어졌다. 쌍대 비교란 비교 대상들을 짝을 지어 둘 중 하나의 선호를 결정하는 비교 방식이다. 그런데 AHP를 비롯한 쌍대비교에서는 후보의 수가 하나씩 증가할수록 쌍대비교의 개수가 기하급 수적으로 증가한다. 그래서 3단계로 나누어 진행했으며 아래 표와 같이 본 연구에서 개발한 약식 쌍대비교 방식을 사용했다.
[표]본 연구의 약식 쌍대 비교의 응답지 양식과 응답결과 예시(원문 참조)
1차에서는 DARPA와 IARPA의 후보를 묶어 4개 과제를 선발했으며, 2차에서는 1차에서 선발된 4개 과제와 NSF 후보들을 비교하여 4개 과제를 선발했다. 3차에서는 2차에서 선발한 4개 과제와 Horizon2020 후보들을 비교했다. 이때 최종적으로 선정된 후보가 경쟁 후보들 보다 상대적으로 우수한 것뿐만 아니라 절대적으로 우리나라에서 중장기 대형 과제로 추진할 가치가 있어야 한다. 그래서 절대 비교 대상으로 현재 국내에서 진행되고 있는 중장기 대형 과제 중 하나를 선정하여 함께 비교했다. 12개 후보 중 국내 절대 비교 과제보다 높은 점수를 받은 4개 과제를 최종 후보로 선정했다.
최종 선정된 중장기 대형 과제 후보는 멀티소스 멀티모달 기계 학습 및 다중 가설 자동 생성(이하 3M, DARPA AIDA)과 다중카메라 환경에서의 실시간 행위 인식 및 탐지(이하 리얼타임 딥뷰즈, IARPA DIVA), 계산 커널의 병렬 자동 튜닝 오픈소스 소프트웨어(이하 계산 커널 오토튜너, NSF BONSAI), 오픈소스 소프트웨어 활동 및 코드 자동 학습(이하 빅코드, H2020 CROSSMINER)이다.
선정된 4개의 최종 후보는 크게 두 가지로 구분할 수 있다. 첫 번째 그룹은 우리나라에서 현재 관련된 중장기 대형 과제가 진행 중에 있으나 기술 선도국이 새로운 도전적 목표를 설정한 경우이다. 3M과 리얼타임 딥뷰즈가 여기에 해당된다. 3M은 엑소브레인과 지능정보 플래그십 프로젝트, 인공지능 국가전략 프로젝트 등과 연관되어 있다. 이들 기존의 중장기 대형 과제들이 멀티소스 또는 멀티모달 중 하나만을 목표로 설정하고 있는데 반해 기술 선도국의 연구과제는 멀티소스와 멀티모달, 그리고 멀티가설까지 확대하고 결합하고 있다. 그러므로 국내 과제들을 포괄할 수 있는 과제를 새롭게 기획하여 연구자들의 협력을 강화할 필요가 있다. 리얼타임 딥뷰즈도 중장기 대형과제인 딥뷰에서 추진하는 것보다 도전적으로 연구 목표를 설정하고 있다. 기존의 과제들이 주로 단일 카메라 환경을 가정하고 있는데 반해 다중카메라 환경에서 실시간으로 위험 행위를 탐지하는 것을 목표로 삼고 있다. 따라서 기존의 딥뷰 과제와 새롭게 시작한 도전적인 개인연구들까지 아울러서 공공시설보호에 특화된 연구과제로 기획하는 것을 고려해봐야 한다.
두 번째 그룹은 전문가들이 기술 선도국과의 기술 격차 해소를 위해 중요하다고 인정한 분야임에도 불구하고 현재 우리나라에서는 관련 연구가 많이 이루어지지 않는 경우이다. 빅코드와 계산커널 오토튜너가 여기에 해당된다. 이들 연구들은 주로 개인연구 형태로는 지원 되고 있는데, 국가적인 차원에서 중장기 대형과제로 확대하거나 관련 연구과제들의 연계를 강화할 필요가 있다.
본 연구에서 제시한 예비 후보 선발과 후보 검토 프로세스는 정부의 소프트웨어 과제 기획 프로세스에 접목할 수 있을 것으로 기대된다. 일반적으로 수요조사가 2사분기에 이루어 지는데, 그 전에 기획팀에서 기술 선도국의 사업이나 과제를 대상으로 예비 후보를 선발하고, 나아가 후보 선정까지 이루어진다면 수요조사에서 제안된 것들과 함께 검토하여 과제 기획의 품질을 제고할 수 있을 것이다. 또한, 기술 선도국과의 기술 격차가 존재하는 상황에서 기술 선도국에서 최첨단의 추진 방향, 그것도 구체적인 기술 목표를 설정한 연구과제들을 종합적으로 검토함으로써, 지금보다는 더 도전적인 연구 목표를 설정하고 기술발전의 궤적을 고려하여 추진방향을 기획할 수 있다
Summary
This study aims to find a way to promote the quantum jump strategy to drastically reduce the software technology gap with developed countries. In order to pursue the quantum jump strategy, it is necessary to use a method different from the existing one in the entire R&D process, from finding a task to conducting a business. For this purpose, this study focuses on developing improvement methods throughout the R&D process and developing methodologies for finding candidates for mid and long term large-scale SW R&D projects.
To explore the new R&D promotion system, the US DARPA program was examined and compared with the current government R&D planning and implementation system. The direction of the R&D promotion system for quantum jump is as follows.
① (Task planning based on real demand) DARPA projects business with a focus on connecting the actual demand of specific armies with the progress of science and technology. On the other hand, the domestic task does not place the research goal in actual use, so there is a weak organic link between the sub-tasks and difficulty in collecting the capability.
② (Strengthen top-down project planning) In DARPA, PM plays a leading role and researchers concentrate on exploring solution alternatives as technical experts. In Korea, researchers propose not only the search for resolution confrontation but also the use and demand of technology.
③ (Constant task planning and management) At present, the task planning of information and communication fields including domestic software is centered on the task planning committee. The task planning committee usually operates within a limited period of time, usually one to two months at a specific time, mainly at the end of the year. Despite a short period of time, candidates are quickly identified, confirmed, compared, selected, and detailed. It is therefore difficult to overcome the technological gap, especially the movement of the technology leadership.
④ (Re-establishing role of CP and task leader) In Korea, R&D task planning for software is centered on CP (Creative Planner) belonging to Information Technology Promotion Center (IITP). CP is in charge of project planning, but it is not involved in selection and management of project assignments, so it differs greatly from the authority and discretion of DARPA PM. CP is therefore responsible for DARPA's role as director, selecting and providing the highest level of staff to plan and carry out tasks. The PM, who is in charge of the PM task, needs a plan that does not carry out direct research like DARPA but concentrates on planning and running the task belonging to CP room.
⑤ (Ensuring the flexibility of project management) In order to minimize the uncertainty in the planning stage, it should support research research time and budget for about one year. In addition, the project manager should endeavor to be able to conduct street-level research by accepting all the methods such as contracts, public offerings, competition methods, etc. in accordance with the nature of the task. The task leader needs to constantly monitor strategic complementarities between the sub-tasks and ensure that the tasks can be consolidated and terminated at any time.
DARPA, NSF, EU, and others, we have identified four candidate candidates that we believe are worth pursuing in order to reduce technological gap in Korea in the future through the four-step process. The purpose of this study is to narrow down the technological gap and to find the target in a specific task unit. In addition, these tasks have the merit of concentrating only the technical part when evaluating the business performance and the ripple effect in the country already.
First, we selected 3,322 SW-related candidates from DARPA, IARPA, NSF and EU's Horizon2020 program, which constituted the candidate pool. For the candidate pools, DARPA, IARPA, NSF, and Horizon2020 are divided into CPS(Cyber-Physical Systems), Big Data Analysis, Cloud Computing, HPC(High-Performance Computing) and Open Source Software A total of 12 groups were selected for preliminary selection. A total of 108 tasks were selected as candidates for selection, with 10 or so selected for each group.
The preliminary candidates also gathered opinions on whether they would be suitable for mid- to long-term large-scale software R&D project planning by forming a professional group of three or four persons in 12 areas. And to express only whether it is both extreme of recommendation and disposition hope. Basically, at least two experts were actively recommended and at the same time one candidate was selected as a candidate who did not wish to be excluded, and a total of 21 tasks became candidates for final evaluation.
The finalists were composed of 10 candidate review committees and 21 candidates were conducted through a three-point comparative review as shown in the previous table. The selection of the final candidates was made through a pair comparison between the candidates. A pairwise comparison is a comparison method that determines the preference of one of two pairs of objects. However, in the case of AHP and other pairs, the number of pairs increases exponentially as the number of candidates increases. Thus, we divided into three stages and used the short form pair method developed in this study.
In the first, four tasks were selected by combining DARPA and IARPA candidates. In the second, four tasks selected from the first and NSF candidates were selected. In the third, we compared Horizon2020 candidates to four tasks in the second. At this time, the final candidate should not only be superior to the competition candidates but also be absolutely worth pursuing in the mid- to long-term large-scale tasks in our country. Therefore, we selected one of mid- to long-term large-scale projects that are currently being compared in Korea and compared them. Of the 12 candidates, four were selected as finalists.
The final selected mid to long-term large-scale candidates are DARPA AIDA(Active Interpretation of Disparate Alternative), IARPA DIVA(Deep Intermodal Video Analytics) NSF BONSAI(An Open Software Infrastructure for Parallel Autotuning of Computational Kernels), and H2020 CROSSMINER(Developer-Centric Knowledge Mining from Large Open-Source Software Repositories).
The four finalists are divided into two major categories. The first group is in the mid- to long-term large-scale tasks currently under way in Korea, but the technical leadership has set new challenging goals. This includes AIDA and DIVA. AIDA is associated with the ExoBrain, intelligence information flagship project, and AI strategic strategy project. While these existing mid- to long-term large-scale projects are targeting only one of multi-source or multi-modal, the research projects of the technical leadership are expanding and combining multi-source, multi-modal and multi-hypotheses. Therefore, it is necessary to reinforce the cooperation of researchers by newly planning tasks that can cover domestic tasks. DIVA also sets challenging research goals than the mid to long-term Deep View project. While the existing tasks mainly assume a single camera environment, the goal is to detect dangerous behavior in real time in a multi camera environment. Therefore, it is necessary to consider planning the project as a research project specializing in the protection of public facilities as well as the existing Deepview project and newly started challenging individual studies.
The second group is the area where experts are recognized as important for resolving the technological gap with technology leading countries, but there are not many related studies in Korea at present. This is the BONSAI and CROSSMINER. These studies are mainly supported by individual research forms, and it is necessary to extend them to mid to long term large-scale projects from the national level or to strengthen the linkage of related research projects.
The candidate selection and candidate review process proposed in this study is expected to be able to be applied to the government software project planning process. In general, demand surveys will take place in the second quarter. Before that, the planning team will be able to select prospective candidates for the projects and tasks of the technology-leading country and review them together with the proposals in the demand survey to improve the quality of the project planning. In addition, in the presence of technological gaps with technology-leading countries, it is necessary to establish research goals that are more challenging than the present, and to set the trajectory of technological development The direction of the project can be planned.
