인과관계를 탐구하는 방법들이 대체로 다소 전문적일 수 있다. 이번 회차에 소개할 이중차분법(DID; Difference In Differences)는 그렇지 않다. 이 개념을 알아두면 일상적인 비교에서도 제법 유용하게 써먹을 수 있다. 한마디로 생활의 지혜다. 가상의 사례를 통해서 DID가 어떤 것인지 간단히 살펴보자.

Difference in Differences?

모호한 팀장님의 지시

위 표와 같이 두 개의 프로모션의 성과가 있다고 하자. 팀장이 프로모션A를 평가해볼 것을 지시했다. 대리인 나는 이 지시를 어떻게 수행해야 할까?

1. “2019년 7월의 시점에서 프로모션 B와 비교해보니 A가 10억 많네! 그러니까 A의 성과는 B에 비해 높았다고 말할 수 있다고 보고하자.”

2. “2018년 7월과 비교해보니, 40억 줄었네. A의 효과가 작년보다 신통치 않았다고 보고하자.”

단비 블로그를 방문하는 사람이라면 둘 다 틀리지 않은 말이지만 뭔가 부족하다고 느낄 것이다. 이야기에 약간 더 살을 붙여 보자. A 프로모션은 무기 위주의 프로모션이고 B 프로모션은 방어구 위주의 프로모션이다. 이 게임은 1년 새에 무기에 방점을 두는 게임 디자인의 조정이 있었다는 커뮤니티의 평가가 있다. 솔직히 프로모션 A를 평가해보라는 팀장님의 지시가 두루뭉술했다. 이 질문을 좀 더 날카롭게 가다듬어야 하겠다.

“무기에 방점을 두는 디자인 변경이 매출에 긍정적인 영향을 주었을까?”

단비 블로그에 있는 당신이라면 아마도 머리속으로 이렇게 생각했을지 모르겠다. ‘음… 프로모션 A의 감소율은 40/150, 즉 26%이고, 프로모션 b의 감소율은 50%군. 그러면 결국 프로모션 A의 매출액은 줄었을지 몰라도 매출에 끼친 영향을 긍정적으로 봐야 하지 않을까…’

이중차분의 핵심

이러한 직감을 다소 체계적으로 다듬은 것이 이중차분법이다. 위의 자료는 한편으로는 횡단면(cross-sectional)–같은 시점에서 서로 다른 개체를 관찰– 자료이고, 다른 한편으로는 시계열(time-series)–같은 개체에 대해서 서로 다른 시점에서 관찰–자료다. 정보가 두 차원으로 주어졌다면 이를 충분히 활용하는 것이 좋지 않을까?

1. “2019년에 두 개체의 횡단면만 비교하는 것(A2-B2)은 각 개체가 지닌 특성에 의한 차이를 포함하고 있을지 몰라. 이것 제거해야 하겠지.”

2. “2019년과 2018년만 비교하는 것(A2-A1) 시기별 특징에 따른 차이를 포함하고 있을지 몰라. 이것을 제거하는 게 좋겠어.”

이를 위해서는 어떻게 해야 할까?

1. 횡단면 비교에 있을지 모르는 개체의 차이를 제거하기 위해서는 그 전년도에 둘의 차이를 뺴주면 될 것 같다! 즉, (A2-B2) - (A1-B1)

2. 시계열 비교에 시간적 특성을 제거하기 위해서는 다른 개체의 시계열 차이를 빼주면 될 것 같다! 즉, (A2-A1) - (B2-B1)

1과 2가 같은 값임을 쉽게 알 수 있다. 아울러 왜 이름이 ‘이중’차분법인지도 알 수 있다. 관심 사항의 단순한 차이는 편향을 지니기 쉽다. 이때 차이의 차이를 보면 이 편향을 통제할 수 있게 된다.

이중차분법의 발상

이중차분법의 이러한 발상을 말로 풀어보자. 어떤 개체가 지니고 있는 독특한 특징(여기서는 원인)을 잡아내는 것이 이 분석의 목표다. A라는 대상에 (대체로는 시간을 두고) 어떤 변화가 발생했다. 이 변화(원인)가 A의 성과(결과)에 영향을 주었을까?

이 문제에 관해서 실험이 가능한 상황을 생각해보자. 이제 쯤이라면 많이 익숙해졌을 것이다. A/B 테스트처럼 여러모로 비슷한 A, B 두 개의 대상을 고른 후 (무작위로) A를 처치 집단으로 B를 통제 집단으로 두고 A에만 어떤 변화를 가한다. 실험이 불가능한 상황에서 이를 모방하려면? A와 비슷하다고 생각되는 B를 찾고 같은 시점 변화에 대해서 B가 지닌 성과의 차이를 얻는다.

이렇게 보면 이중차분법이 실험을 모방하는 준실험적 방법의 하나라는 것을 쉽게 알 수 있다. 다만 이중차분법이 준실험적 방법으로서 의미가 있으려면 몇 가지 조건을 잘 살펴야 한다. 우선 A와 B가 서로 통제 집단과 처치 집단이 되려면 처치 집단에 가해진 변화(원인)을 빼고는 여러모로 유사해야 한다. 만일 A와 B가 상이한 집단이라면 비교의 의미가 적어진다. 잠깐! 여러모로 ‘유사하다’라는 말 역시 앞서 보았던 것과 같이 횡단면과 시계열로 쪼개 볼 수 있어야 하겠다.

1. 횡단면 A, B는 여러가지 속성에서 비슷해야 한다. A1이 무기 프로모션이고 B1이 신서버 개설 에 따른 프로모션이라면 둘을 비교하기는 어려울 것이다.

2. 시계열 1, 2따른 영향이 A,B에 고르게 미쳐야 한다. 시계열에 따른 변화는 우리가 관심을 갖고 있는 원인 이외에도 여러가지 요소가 있다. 중간에 월드컵과 같은 스포츠 이벤트가 있었다거나, 경쟁 게임이 등장했다거나 하는 일들이 얼마든지 발생할 수 있다. 이런 변화들이 A, B에 고르게 영향을 미쳤다고 간주할 수 있어야 한다.

이중 차분법의 사례

이중차분법을 활용한 가장 중요한 연구는 2019년 비극적으로 생을 마감하신 경제학자 앨런 크루거Alan Krueger의 최저임금 연구다.¹ 요즘 한국 사회에서도 큰 화두가 되고 있지만 최저 임금이 고용을 줄이는지 여부는 경제학의 오랜 논란 거리였다. 이러한 논란은 (사회) 실험으로 쉽게 해결할 수 있겠지만, 이런 실험은 애초에 불가능하다.

크루거 교수는 이 문제를 살펴보기 위한 준실험적 방법으로 이중차분법을 활용했다. 그는 1992년 4월 1일부터 미국 뉴저지 주에서 최저임금이 4.25 달러에서 5.05 달러로 인상될 예정이라는 사실에 주목했다. 연구를 위해 그는 뉴저지 주와 쌍동이가 될만한 대상을 찾았고, 인접한 펜실베니아 주를 택했다. 펜실베니아 주는 뉴저지와 인접해 있어 여러모로 비슷하다. 게다가 펜실베니아 주는 1992년 4월 1일 이전이나 이후로 시간당 최저임금이 4.25 달러로 유지될 예정이었다. 최저 임금의 영향력을 살펴보기에는 적절한 통제 집단의 자격을 갖춘 셈이다.²

사실 요즘처럼 통계를 쉽게 확보할 수 있는 시기가 아니어서 데이터를 얻는 과정에 공이 많이 들었다. 그는 최저임금에 영향을 받는 대표적인 사업체인 패스트푸트 체인(버거킹, KFC, 웬디스, 맥도날드 등)의 주소와 전화번호부를 확보했다. 1992년 2월~3월 사이의 해당 업체들의 최저 임금과 종업원 숫자를 확인했다. 그리고 이어 1992년 10월~11월에 같은 업체들을 대상으로 다시 한번 임금과 고용 규모를 확인했다. 그가 논문에서 제시한 이중차분 추정치는 아래와 같다.

• 괄호 안의 값은 표준오차

표에서 보듯이 최저임금이 인상된 뉴저지만 보면 고용에 큰 변화가 없다. 하지만 이를 이중차분법으로 살펴보면 (통계적으로 유의미하게) 2.76명 고용이 증가했다! 당시 이 논문은 학계에서 그리고 사회적으로 큰 반향을 일으켰다. 최저 임금이 상승하면 여튼 고용이 줄어든다는 것을 상식으로 받아들이던 때에 크루거 교수는 상식에 반하는 실증의 증거를 내놓았다. 이 연구는 경제학에서 이른바 ‘경험적 연구의 혁명 empirical revolution’의 신호탄을 쏘아올리기도 했다.

자연실험을 소개했던 내용을 다시 들춰보자. 찬찬히 보면 존 스노(John Snow)가 수행했던 콜레라 발병 연구 역시 이중 차분법을 활용했음을 알수 있다.

이중차분법 실습

지금까지는 2X2 테이블로 요약된 이중차분 결과를 봤다. 이걸 회귀 분석으로 어떻게 풀어낼 수 있을지 의문이 드시는 분은 LINK를 참고하기 바란다.