Experiments
-
CUPED - 더 빠르게 실험 결과를 얻는 방법
Experiments ·실험을 하다보면 지표의 신뢰구간이 넓어 0을 포함할 때가 있다. 두 집단 간의 차이는 0과 꽤 떨어져 있는데 넓은 신뢰구간이 0을 포함하면 지표를 해석하는 것이 상당히 난감해진다. 지표의 분산을 줄이려면 어떻게 해야 할까? 가장 간단한 방법은...
-
온라인 통제 실험 프로세스 End-to-end
Experiments ·이제 온라인 통제 실험을 실제로 실행해보자. 막상 시작하려고 하면 무엇부터 준비해야 할지 막막할 수 있다. 일반적으로 실험 프로세스는 실험 이전 → 실험 진행 → 실험 이후의 세 단계로 나뉜다. 이번 글에서는 실무에서 실험을 수행할 때...
-
A/B 테스트, 왜 필요할까?
Experiments ·프로덕트를 런칭하거나 기존 기능을 개선할 때 어떤 선택이 더 좋은 결과를 가져올지 어떻게 판단할 수 있을까? 흔히 A/B 테스트로 불리는 온라인 통제 실험은 데이터에 기반한 객관적인 의사결정을 돕는 강력한 도구이다. 하지만 실험을 올바르게 설계하고 분석해야만...
Stats
-
급격한 변화 포인트를 찾아주는 Piecewise Linear Regression
Stats ·최근에 광고 성과 분석을 하던 중 “광고비를 얼마나 써야 좋은 성과가 날까요?”라는 질문을 받았다. ROAS를 높이는 요인은 광고비 외에도 클릭수, 구매전환율, 객단가 등 다양하기 때문에 인과적인 효과는 사실상 단순한 분석으로는 파악하기 어렵다(높은 ROAS가 반드시 좋은...
-
부트스트랩을 활용한 유연한 비즈니스 의사결정
Stats ·실험이나 관측 데이터 분석에서 주로 전통적인 통계 방법론, 즉 빈도주의 통계에 기반하는 경우가 많다. 그런데 실무에서는 데이터의 분포가 빈도주의 통계의 기본 가정을 충족시키지 못하는 경우도 있고, 때로는 분석 시간의 제약으로 인해 기계적으로 판단하게 되면서 잘못된...
AI
-
MCP와 n8n 비교하여 알아보기
AI ·AI 프로덕트가 하루가 다르게 쏟아지고 있는데 막상 데이터 분석 실무에서 AI를 적극적으로 사용하고 있지는 못한 것 같다. 물론 분석 결과에 대해 의견을 주고 받거나 쿼리 생성을 하는 등 유용하게 쓰고는 있지만 아직은 AI 프로덕트를 시스템화하여...
Causal Inference
-
DID - 3. 유닛마다 서로 다른 시점에 처치를 받는다면? Staggered DID
Causal Inference ·앞에서 살펴 본 고전적인 DID(Canonical DID)는 treatment가 모든 유닛에 동일한 시점에 적용되었다는 것을 가정한다. 만약 유닛마다 서로 다른 시점에 treatment를 받는다면 어떻게 해야 할까? 현실적으로 treatment 적용 시점이 다른 경우가 많기 때문에 최근 들어 다양한...
-
DID - 2. DID의 일반화 - TWFE 모델 (2)
Causal Inference ·지난 글에서는 TWFE 모델의 기본 개념과 unit fixed effects와 time fixed effects가 교란 요인을 어떻게 통제하는지 살펴봤다. 이번 글에서는 Fixed effects 모델을 추정하는 방식 중 LSDV와 Within Estimator의 원리를 이해하고 이를 TWFE로 확장해본다. 또한 샘플...
-
DID - 2. DID의 일반화 - TWFE 모델 (1)
Causal Inference ·TWFE, Two-Way Fixed Effects model은 DID를 일반화한 형태이다. 고전적인 2x2 DID는 2개의 그룹(treatment/control)과 2개의 시점(처치 전후)을 비교하는 반면, TWFE는 여러 unit과 여러 시점을 동시에 다룰 수 있어 보다 복잡한 상황에 적용할 수 있다. 먼저 패널...
-
DID - 1. Difference-in-difference 기본 개념
Causal Inference ·인과추론 기법들 중에서도 DID(Difference-in-Differences)는 원리가 비교적 직관적이고 간단해서 실무에서 자주 사용되는 방법론이다. DID는 어떤 정책이나 처치가 실제로 효과가 있었는지 알아보기 위해, 단순히 전후 비교나 집단 간 비교만 하는 것이 아니라 ‘변화량의 차이’를 측정함으로써 보다 정확한...