sdid 분석 구현

[Soyoung-JUN]

캘리포니아 금연 캠페인(Proposition 99) 데이터를 사용하여, SDID의 모델 검증 및 통계적 추론을 구현했습니다.

주요 구현 내용

1. synthdid 패키지 활용:

• synthdid 라이브러리를 사용하여 SDID, SC(합성 대조법), DID(이중 차분법) 모델을 각각 적합시키고 결과를 비교 분석했습니다.

2. 재현성 검증:

• pysynthdid 노트의 재현 과정을 참고하여, 모델의 핵심 파라미터(Omega/Lambda 가중치)를 추출하고 확인하는 절차를 포함했습니다.
• 실제 정책이 없었던 기간을 대상으로 AA 테스트를 수행하여 모델이 거짓된 효과를 탐지하지 않음을 검증했습니다.

3. 강건성 및 통계적 추론:

• Handbook을 참고하여, 모든 주(state)를 대상으로 플라시보 테스트를 실행하여 모델의 평균 예측 오차(RMSE)를 비교하고 SDID의 적합성을 확인했습니다. 최종적으로 플라시보 효과의 분포를 직접 시각화하고, 이를 통해 주 효과(ATT)의 통계적 유의성을 검증하였습니다.

참고 자료

1. Original Paper: Arkhangelsky, D., Athey, S., Hirshberg, D. A., Imbens, G. W., & Wager, S. (2021). Synthetic difference-in-differences. American Economic Review, 111(12), 4088-4118. https://www.aeaweb.org/articles?id=10.1257/aer.20190159
2. Primary Package: synthdid Python package. https://github.com/d2cml-ai
3. Replication Reference: pysynthdid repository's example notebook. https://github.com/MasaAsami/pysynthdid/blob/main/notebook/ReproductionExperiment_CaliforniaSmoking.ipynb
4. Matheus Facure's "Python Causality Handbook" 25 - Synthetic Difference-in-Differences

[jhkimon]

리뷰 작성하였습니다. 덕분에 새로운 내용들을 공부할 수 있는 좋은 기회였습니다. 감사합니다!

[jhkimon]

현재는 synthdid.get_data에서 california_prop99 데이터셋을 가져오고 있는데, 코드 통일을 위해 미리 저장된 ../data/matheus_data/smoking.csv 에서 데이터를 가져와도 좋을 것 같습니다.

[Soyoung-JUN]

좋은 제안 감사합니다! 말씀해주신 대로, 프로젝트의 코드 통일성을 위해 저장된 파일을 사용하도록 수정하는 것이 좋겠습니다. 다음 커밋에 바로 수정하여 반영하겠습니다.

[Soyoung-JUN]

저장된 파일의 데이터 형식이 기존과 달라, 라이브러리가 요구하는 'long format'으로 데이터를 변환하고 treated 컬럼을 새로 생성하는 등 전체 코드에 필요한 데이터 전처리 작업을 모두 완료했습니다.

[Soyoung-JUN]

다만, 현재 데이터의 'state' 컬럼이 이름이 아닌 숫자 ID로 되어 있어, 어떤 주인지 직관적으로 파악하기 어려운 점이 있습니다.

혹시 이 분석의 가독성을 높이기 위해, 원본 데이터 파일에 주 이름을 매핑하는 새로운 컬럼을 추가하거나, ID와 주 이름을 매핑하는 별도의 파일을 프로젝트에 추가하는 방안에 대해 어떻게 생각하시는지 의견 여쭙고 싶습니다.

[Soyoung-JUN]

지난주 일요일 미팅에서 논의한 점을 참고하여 데이터셋 수정 없이 State ID를 유지하였습니다.

[jhkimon]

주피터노트북 상으로 해당 부분의 plot을 확인해보면, control과 treatment가 겹치지 않는 것을 확인할 수 있습니다.
기존 SC라면 처치 전의 두 plot이 겹쳐야 하는데, 혹시 다른 방법론에 대한 그림은 아닌지 확인이 필요할 것 같습니다.

코드는 분명 맞는데 .. 실행 과정의 오류 같습니다.

[Soyoung-JUN]

SC 그래프에 대해 추가적으로 확인하고 고민한 내용을 공유해 드립니다.

말씀해주신 대로 그래프가 겹치지 않는 문제를 해결하려 했으나, 사용중인 synthdid 패키지의 소스 코드를 확인해 본 결과, fit(synth=True) 옵션은 SDID 분석의 안정성을 위해 약간의 정규화(regularization)를 기본적으로 포함하여 SC를 계산하는 것으로 확인되었습니다. 이 때문에 고전적인 SC 구현과 달리 정책 이전 기간에 완벽한 오버랩이 나타나지 않는 것이 이 패키지의 고유한 특징이었습니다.

따라서 코드 수정보다는 이 현상에 대해 주석을 추가하는 방향으로 정리했습니다. 다만, 리뷰어님 말씀처럼 이 그래프가 고전적인 SC와는 달라 직접적인 비교가 어려운 점이 있어, 이 비교 부분을 그대로 남겨두는 것이 맞을지 조금 고민이 됩니다. 아니면, 더 정확한 비교를 위해, pysynthdid와 같은 다른 라이브러리를 사용하여 '고전적인' SC 그래프를 추가로 구현하고 synthdid의 SC 결과와 나란히 비교하는 것도 방법이 될 것 같습니다. 이 부분에 대해 의견 주시면 감사하겠습니다.

[Soyoung-JUN]

이 부분을 수정할수 있는 파라미터를 추가하여 plot을 수정하였습니다. 이제 control과 treatment가 겹치는 것을 확인하실 수 있습니다.

[jhkimon]

세 방법론을 모두 적용하여 분석 자체의 robustness를 확인하는 것도 좋지만, 평행추세 가정이나 실무의 관점에서 어떤 방법론이 해당 세팅에서 권장되는지 확인도 필요할 것 같습니다. 예를 들어, SC-DID는 강건하다는 장점이 있지만 extrapolation을 허용하기에 한계점도 존재합니다.

예를 들어, 참고논문 Fig1 을 보면 평행추세 가정을 시각화하여 세 방법론을 비교하여 보여주고, 또 donor pool에 대한 결과도 시각화하는 것을 볼 수 있습니다.

아래에 구현 코드도 첨부드립니다.
구현 코드 1

구현 코드 2

[Soyoung-JUN]

좋은 제안 정말 감사합니다! 말씀대로 세 방법론을 단순히 나열하기보다, 평행추세 가정과 모델 구성 방식을 시각적으로 비교하여 왜 SDID가 이 분석에 가장 적합한지에 대한 논리적 근거를 보충하는 것이 중요하다고 생각합니다.

제안해주신 Figure 1을 모범 답안으로 삼아, 분석의 핵심인 2. 핵심 SDID 분석 및 다른 방법론과 비교 파트에 다음 두 가지 비교 시각화 자료를 추가했습니다.

[Soyoung-JUN]

Figure 1을 기준으로 plot을 나열하는 코드를 작성하였으나, 앞선 코드들이 반복되고 패키지 특성상 figure 을 나열하기 어려워 코드가 장황해진다는 문제가 있었습니다. 따라서 방법별로 figure를 보여주는 코드를 유지하되, weight plot도 확인할 수 있도록 코드 수정하였습니다.

[jhkimon]

논문 Algorithm 4 및 handbook 있는 Placebo Variance Estimation 도 적용하면 좋을 것 같습니다. 이를 통해 현재의 RMSE 분석도 좋지만, ATT를 신뢰구간을 포함한 추정치로 확대할 수 있을 것 같습니다. (현재 Handbook에서는 state별로 for문을 돌리는 것이 아니라 일부 state를 랜덤으로 추출하여 400번을 수행하는 방법을 사용하여 구현한 것으로 보입니다.)

구현 코드 에서 method = placebo 를 선택하면 신뢰구간을 구할 수 있는 것으로 보입니다.

[Soyoung-JUN]

말씀대로, 모델의 평균 예측 오차(RMSE)를 비교하는 것을 넘어, 추정한 정책 효과(ATT)가 통계적으로 유의미한지 신뢰구간과 p-value를 통해 명확히 제시하는 것이 분석의 신뢰도를 위해 필수적이라고 생각합니다. 4. 모델 강건성 및 통계적 추론 섹션에서 리뷰어님께서 제안해주신 Placebo Variance Estimation 방법을 적용하였습니다. synthdid 패키지의 .vcov(method='placebo') 옵션을 사용하여 SDID, SC, DID 각 모델의 ATT에 대한 표준 오차(Std. Err.)와 p-value를 도출하였습니다.

[jhkimon]

이번 기회에 플라시보 테스트에 대해 공부할 수 있는 좋은 기회가 되었습니다.
추가로 해당 부분에 대해 질문드리고 싶은 사항이 있어 남깁니다.

첨부주신 강의 슬라이드 p.27 및 구현 코드 를 확인해보면, AA test 구현에서 처치 이전 시점 (8년)에 대한 검증을 하기 위해 RMSE를 측정하는 것을 확인할 수 있었습니다. 이는 Estimated potential outcome = Acutal outcome 인지를 확인하여 모델의 강건성을 체크하기 위함으로 보입니다.

다만 해당 코드에서는

 {           
 'sdid_error': fit.att, 
            'sc_error': fit.fit(synth=True).att, 
            'did_error': fit.fit(did=True).att
}

와 같이 처치 이전이 아닌 전체 시간대의 에러를 수집하여 계산하는 것을 확인하였습니다.

따라서, 해주신 테스트가 AA test인지 아니면 이와 별도로 실제 추정치의 통계적 유의성 검증을 위한 단위축 플라시보(in-space placebo) 방식인지 궁금했습니다!

[Soyoung-JUN]

좋은 리뷰 감사합니다. 제가 AA 테스트와 단위축 플라시보 테스트의 목적을 명확히 구분하지 않아 혼동을 드렸습니다.
피드백을 반영하여, 두 테스트의 목적에 맞게 분석 구조를 다음과 같이 명확하게 분리했습니다.
3. 재현성 검증: 모델 안정성을 확인하는 AA 테스트와 정책 이전 기간의 RMSE 검증만 다루도록 수정했습니다.
4. 통계적 추론: 단위축 플라시보 테스트를 통한 최종 ATT의 유의성 검증(p-value 및 분포 시각화)에만 집중하도록 정리했습니다.
덕분에 분석이 훨씬 명확해졌습니다. 다시 한번 감사드립니다.

[Soyoung-JUN]

[리뷰 피드백 반영 (2)]
안녕하세요 정현님. sdid.ipynb 노트북의 분석 흐름을 개선하고 강건성 검증 파트를 보강했습니다.

1. SC 플롯 파라미터 추가를 통한 정확성 향상(2장)

• 기존 코드에서 합성 대조법(SC) 결과 그래프가 SDID와 동일하게 출력되는 문제가 있었습니다.
• fit(synth=True) 호출 시 omega_intercept=False 파라미터를 추가하여, SDID와 명확히 구분되는 고유한 SC 모델의 결과를 시각화하도록 수정했습니다. 이를 통해 각 방법론을 더 정확하게 비교할 수 있습니다.

2. 시각화 방식 수정: 기존의 3-panel 비교 그래프는 패키지 특성상 구현이 복잡하여 제거했습니다.

• 대신 각 방법론(DID, SC, SDID)의 결과(Outcomes)와 가중치(Weights) 그래프를 개별적으로 명확히 보여주는 방식으로 수정했습니다.

3. 강건성 분석 보강 (4장): 기존의 플라시보 테스트에 더해, 아래 분석들을 추가하여 결과의 신뢰도를 높였습니다.

• 효과 크기 시각화 (Gap Plot), 플라시보 효과 추세 비교 (Placebo Trend Comparison), MSPE 비율 검증 (MSPE Ratio Test)

[Funbucket]

코드 작성하시느라 고생 많으셨습니다!
이슈는 close 해도 될 것 같습니다.

마지막으로, 자잘한 부분이지만 헤더 구조를 맞추기 위해
"# 4. 모델 강건성 및 통계적 추론 → ## 4. 모델 강건성 및 통계적 추론"
으로 수정해주시면 좋을 것 같습니다.

[Funbucket]

저도 관련 코드를 수정해보았지만 p-value가 잘 개선되지는 않았습니다.

반면, 위 sdid 최종 통계적 추론에서의 p-value가 0.13으로, 효과 방향은 일관하지만 통계적으로는 유의하지 않았고,
MSPE Ratio Test에서도 구조적 변화는 확인되지만 통계적으로 유의하지 않으므로, 해당 테스트는 현재 형태 그대로 유지해도 될 것 같다고 생각합니다!

[Soyoung-JUN]

검토 감사합니다! 말씀해주신 부분 수정 반영 후 close 하겠습니다.

[Soyoung-JUN]

안녕하세요. 수정 사항은 다음과 같습니다.

• 이전에 말씀해주신대로 MSPE 비율을 통한 강건성 검증 결과를 유지하고 이에 대한 해석을 추가하였습니다,
• 헤더 구조를 맞추기 위해 '## 4. 모델 강건성 및 통계적 추론'로 수정했습니다.
• Gap Plot, MSPE 비율, Placebo ATT 분포 계산 시 사용되는 처리 시점을 1988년(통과 시점)에서 1989년(발효 시점)으로
  일관되게 수정하였습니다. 이에 맞춰 그래프 해석도 수정하였습니다.
  위 수정사항과 더불어, 전체 코드 최종 검토해주시고 close 해주시면 될 것 같습니다. (명석님 제안대로 리뷰어가 직접 close하는 게 좋을 듯합니다.)

감사합니다.