영어가 아닌 것 같고 무슨 뜻인지 모르겠지만 뭔가 있어 보이는 문구. 이 말을 처음 접했을 때 새로운 눈이 뜨이는 느낌이 들었다. 세테리스 파리부스는 ‘다른 모든 조건이 동일하다면’이라는 의미의 라틴어 문구이다. 경제학에서 소고기 가격이 상승하면 소고기 수요량이 감소할 것이라는 수요의 법칙은 바로 이 세테리스 파리부스 가정을 전제로 한다. 소고기에 대한 수요자 선호, 소고기의 대체재인 돼지고기 가격, 수요자 소득, 소고기 가격 변동에 대한 수요자들의 예상 등이 변하지 않는다고 가정한 것이다.1 다른 예로, 인과관계 추론 방법 논의가 활발해지기 전인 1960년대에 일리노이 대학의 레너드 에론(Leonard Eron) 교수는 870명의 3학년 아이들에게 가장 좋아하는 TV 프로그램을 물어보았는데 폭력적 TV 프로그램을 많이 본 아이들이 학우들에게 가장 폭력적인 성향을 보이는 것을 발견했다. 이를 통해 에론(Eron) 교수는 폭력적 TV 프로그램이 아이의 폭력적 행동을 유발한다는 인과관계를 주장하였다. 그러나 이러한 결론은 아이들의 폭력성에 영향을 미쳤을지도 모르는 다른 중요한 요인(예를 들어 폭력적인 부모 등 열악한 가정환경)들을 통제하지 않은 상태에서 추정한 것으로, 그 인과관계는 오류가 있을 수 있다.
언론이나 정부의 보도자료에서 통계를 인용하여 정부정책의 성패를 논하는 경우가 많다. 몇 년도에서 몇 년도 사이에 어떤 지표가 몇 % 증가(또는 감소)한 것을 볼 때 정부 정책이 실패(또는 성공)했다는 식이다. 분석 대상 기간이나 범위를 달리하면 결과도 다를 수 있는 통계의 함정은 차치하고, 통계로 확인할 수 있는 것은 현상뿐이다. 정책의 개입 외에 다른 모든 조건이 동일한 상황이 아닌 경우 어떤 현상의 원인을 정책 개입이라고 단정 지을 수 없다.
정책의 인과적 효과를 평가하는 과학적 연구에 활용되는 도구 중 하나로 무작위 실험이 있다. 정책평가에서 무작위 실험은 정책수혜를 받는 ‘실험집단’과 정책수혜를 받지 않는 ‘통제집단’의 두 집단으로 구분하여 무작위 배정(Random Assignment)에 의해 (동질적으로) 나누고, 정책 개입 외의 다른 모든 조건을 동일하게 유지하여 정책의 효과를 추정한다. 무작위 실험은 정책 사업을 전국에 걸쳐 본격적으로 시행하기에 앞서 소규모로 시행하여 효과를 측정한 후, 그 결과에 근거하여 전국적인 실시 여부를 결정하는 평가모형이다. 미국에서는 1996년 빈곤가정 지원 정책인 TANF(Temporary Assistance for Needy Families) 제도 개혁 이후 다양한 무작위 실험평가를 실시하고 있다.2 클린턴 행정부는 모든 복지 노동 관련 정책 사업의 평가는 무작위 실험만으로 할 것을 규정하였다. 오바마 대통령도 ‘증거와 혁신에 대한 어젠다’를 발표하여 증거에 기반하여 정책(Evidence Based Policy)이 형성되어야 함을 강조하였고, 이 어젠다에서 정부정책의 성과를 평가할 때 실험적 방법을 활용할 것을 권고하였다. 최근에는 미국뿐 아니라 영국, 스웨덴, 네덜란드, 독일 등 서구 선진국들이 무작위 실험평가를 주요 정부 사업 분야의 평가 방법론으로 활용하고 있다.
우리나라는 이러한 무작위 정책실험을 통한 정책 추진이 상당히 제한적으로 이루어지고 있다. 한국행정연구원의 2017년 연구3에 따르면 우리나라 중앙행정기관과 공공기관이 작성하는 501건의 승인통계 중에 정책의 인과적 효과를 규명하기 위하여 작성하는 승인통계는 다섯 건4에 불과한 것으로 집계되었다. 정책 실무자들도 이해나 설득의 난해함, 연구에 소요되는 시간과 예산 등의 이유로 엄밀한 효과 추정을 증거로 사용하기보다 조사통계의 단순 시계열 변화 수치를 정책의 증거로 활용하는 경우가 많은 것 같다.
2019년 아비지트 배너지(Abhijit Banerjee)와 에스테르 뒤플로(Esther Duflo) 교수 부부는 빈곤층을 지원하는 정책에 대한 무작위 실험 연구의 공로를 인정받아 노벨경제학상을 수상하였다. 이들 부부는 저서 ‘Poor Economics(가난한 사람이 더 합리적이다)’에서 정책 실패는 대개 권력자들의 음모에 의해서라기보다 정책 설계 과정의 실수나 사회 곳곳에 만연한 이데올로기, 무지, 타성에서 비롯된 것이라 말하고 있다. 막대한 예산이 투입되는 정책 사업임에도 그 사업이 얼마나 효과가 있는지에 대한 검증이 부족한 채로 (통계 수치를 앞세우긴 하지만) 대중적 의견이나 특정 집단의 이익에 의해 추진(opinion based policy)되는 경우가 많다.
물론, 정책실험의 한계에 대한 다양한 주장5들도 있다. 그럼에도 불구하고 사회경제적으로 중요하고 예산투입이 큰 사업일수록 정책실험의 필요성, 기술적 가능성 등을 면밀히 검토하여 이를 추진할 필요가 있다. 무의미한 정쟁이나 소셜네트워크의 댓글들에 정책과정이 지나치게 영향을 받는 시대에, 정책의 효과를 ‘세테리스 파리부스’하게 추정해내고 이를 증거로 정책을 결정하고 개선해야 한다.
