증분성(Incrementality) 측정 — 플랫폼 ROAS 620%가 실제로는 114%였던 이유

광고비를 20% 늘렸는데 전사 매출은 그대로입니다. 그런데 광고 대시보드는 여전히 ROAS 600%를 가리키고 있습니다. 매체별 기여 매출을 다 더하면 실제 매출보다 큽니다. 이 세 가지가 동시에 일어나고 있다면, 지금 보고 있는 숫자는 "광고가 만들어낸 매출"이 아니라 "광고가 마지막으로 스쳐 간 매출"입니다.

이 글은 그 차이를 실제로 가려내는 방법, 증분성(Incrementality) 측정을 다룹니다. 개념 설명에서 끝내지 않고 뷰티 D2C 브랜드를 가정해 실험을 설계하고, 검정력을 계산하고, 결과를 해석하는 데까지 숫자로 따라갑니다. 마케팅 예산 규모가 월 수천만 원을 넘어가는 시점부터는 이 작업이 선택이 아니라 예산 방어의 최소 요건이 됩니다.

1. 기여와 증분은 애초에 다른 질문이다

광고 대시보드의 전환 수치는 "이 전환에 어떤 광고가 관여했는가"라는 질문에 답합니다. 반면 예산 회의에서 필요한 답은 "이 광고를 끄면 매출이 얼마나 줄어드는가"입니다. 문장만 보면 비슷하지만, 전자는 관찰이고 후자는 인과입니다. 관찰 데이터만으로는 인과를 알 수 없습니다.

이 간극이 실무에서 드러나는 대표적인 신호가 기여 매출의 합계가 실제 매출을 초과하는 현상입니다. 메타·네이버·구글이 각자의 창에서 같은 주문을 각자 자기 몫으로 계산하기 때문에, 세 숫자를 더하면 실제보다 커집니다. 이것은 특정 매체가 부풀린 것이 아니라, 각 플랫폼이 자기 기준으로 성실하게 계산한 결과가 합산되면 필연적으로 생기는 구조적 결과입니다. 매체별 전환 인정 기간이 다르다는 점까지 겹치면 격차는 더 벌어집니다.

증분 관점에서 특히 과대평가되기 쉬운 지출은 다음 세 가지입니다. 실무에서 보면 대부분의 브랜드가 여기에서 예산을 흘리고 있습니다.

반대로 과소평가되기 쉬운 지출도 있습니다. 영상·디스플레이·방송처럼 클릭이 발생하지 않는 매체는 기여 모델에서 거의 잡히지 않지만, 브랜드 검색량과 직접 유입을 끌어올리는 경로로 작동합니다. 방송광고처럼 클릭 자체가 없는 매체는 증분 실험 외에는 사실상 성과를 증명할 방법이 없습니다. 증분 측정은 "광고비를 깎기 위한 도구"가 아니라 깎을 곳과 늘릴 곳을 가려내는 도구입니다.

2. 증분을 재는 세 가지 방법

증분을 측정하는 설계는 크게 세 가지입니다. 어느 것이 옳다기보다, 브랜드의 규모와 데이터 상황에 따라 쓸 수 있는 것이 달라집니다.

지역 분할이 실무에서 가장 유용한 이유는 "같은 기간에 비교한다"는 점에 있습니다. 시즌 세일, 명절, 경쟁사 캠페인, 갑작스러운 이슈 — 매출을 흔드는 외부 요인은 대조군과 처리군에 동시에 작용하므로 비교에서 상쇄됩니다. 시계열 on/off가 결코 통제할 수 없는 부분입니다.

3. 설계 예시 — 스킨케어 D2C 브랜드

대시보드만 보면 메타는 광고비 1원당 6.2원을 만들어내는 채널입니다. 그렇다면 증액했을 때 매출이 따라 올라야 하는데 그러지 않았습니다. "ROAS가 높은데 왜 증액 효과가 없는가" — 이 질문은 기여 데이터만으로는 절대 답이 나오지 않습니다. 실험이 필요한 지점입니다.

4. 지역 분할 홀드아웃 설계 6단계

메타를 대상으로 지역 분할 실험을 설계합니다. 절차는 다음과 같습니다.

1. 단위 정하기 — 전국 17개 시·도를 단위로 씁니다. 더 잘게 나눌수록 통계적으로 유리하지만, 매체의 지역 타겟팅 정밀도와 배송 데이터 집계 단위가 받쳐줘야 합니다.
2. 사전 기간 매칭 — 실험 전 8주간의 지역별 매출 추이를 뽑아, 규모와 변동 패턴이 닮은 지역끼리 짝을 짓습니다. 무작위로 나누는 것보다 사전 데이터로 짝을 지은 뒤 짝 안에서 무작위 배정하는 편이 훨씬 안정적입니다.
3. 대조군 비중 결정 — 이 예시에서는 전체 주문의 25%에 해당하는 지역을 대조군으로 잡습니다. 대조군이 클수록 통계적 검정력은 올라가지만, 그만큼 실제 매출을 포기해야 합니다.
4. 기간 설정 — 사전 8주 + 실험 4주. 사전 기간은 매칭 품질과 사후 보정에 쓰입니다.
5. 개입 — 대조군 지역만 메타 광고를 완전히 중단합니다. 네이버·구글은 양쪽 모두 그대로 둡니다. 한 번에 한 변수만 건드리는 것이 실험의 기본입니다.
6. 측정 지표 고정 — 플랫폼 전환이 아니라 자사 주문 데이터(전사 매출·주문 건수)를 지역별로 집계합니다. 측정 지표를 사전에 문서로 확정하고 시작해야 합니다.

5. 검정력 — 실험 전에 반드시 계산해야 하는 것

여기가 이 글의 핵심입니다. 대부분의 증분 실험은 설계가 틀려서가 아니라 애초에 볼 수 없는 크기의 효과를 보려다가 실패합니다.

4주 실험 동안 발생하는 주문은 약 8,000건. 이 중 처리군이 6,000건, 대조군이 2,000건입니다. 주문 건수처럼 개수를 세는 지표는 로그 비율의 표준오차를 다음과 같이 근사할 수 있습니다.

MDE(Minimum Detectable Effect)는 유의수준 5%·검정력 80% 기준으로 이 실험이 잡아낼 수 있는 최소 효과 크기입니다. 여기까지만 보면 7.2%이므로 10% 효과는 충분히 잡힐 것 같습니다. 그런데 이 계산에는 지역 간 변동성이 빠져 있습니다.

지역별 매출은 인구 구조, 유통 채널 분포, 지역 행사, 날씨까지 온갖 이유로 흔들립니다. 실측 기준으로 실효 표준오차는 이론값의 2~3배로 부풀어 오르는 것이 보통입니다. 따라서 이 실험의 현실적인 MDE는 다음과 같습니다.

설계를 고치면 이렇게 달라집니다.

세 번째 줄의 사전기간 보정은, 각 지역의 실험 전 매출을 공변량으로 넣어 지역 고유의 변동을 미리 걷어내는 방식입니다. 광고비를 한 푼도 더 쓰지 않고 분산을 줄이는 방법이므로, 설계 단계에서 사전 기간을 충분히 확보해 두는 것이 중요합니다. "일단 2주만 꺼보자"는 제안은 거의 항상 판정 불가로 끝납니다.

6. 결과 해석 — iROAS 계산

검정력을 확보한 설계로 실험을 마쳤다고 가정하고, 숫자를 읽는 방법을 봅니다.

플랫폼 ROAS 620%, iROAS 114%. 5.4배 차이입니다. 그리고 이 숫자는 "메타를 꺼야 한다"는 뜻이 아닙니다. iROAS 114%는 광고비 1원당 매출 1.14원이라는 뜻이고, 여기서 판단하려면 한 단계가 더 필요합니다.

그렇다면 실제 조치는 무엇이어야 할까요. 메타 전체를 끄는 것이 아니라, 메타 안에서 증분이 낮은 구간을 찾아 끄는 것입니다. 리타게팅과 신규 확보 캠페인을 분리해 각각 실험하면, 대개 리타게팅 쪽 iROAS가 훨씬 낮게 나옵니다. 증분이 낮은 구간의 예산을 증분이 높은 구간으로 옮기는 것이 이 실험의 진짜 산출물입니다.

7. 실무에서 실험을 망치는 6가지

1. 검정력을 계산하지 않고 시작한다 — 가장 흔하고 가장 치명적입니다. 결과가 어떻게 나와도 해석할 수 없는 실험에 예산을 씁니다.
2. 실험 중에 다른 것을 함께 바꾼다 — 프로모션, 랜딩페이지, 다른 매체 예산. 하나라도 같이 움직이면 결과는 무효입니다. 실험 기간 변경 금지 항목을 문서로 남기고 관련 부서에 공유해야 합니다.
3. 대조군 지역에 광고가 새어 들어간다 — 지역 타겟팅은 완벽하지 않습니다. 위치 기준 설정, 여행·이동 인구, 매체의 추정 오차 때문에 대조군에도 일부 노출이 발생합니다. 실험 후 반드시 대조군 지역의 노출량을 확인하고, 유출이 있었다면 증분은 과소평가됩니다.
4. 플랫폼 전환을 결과 지표로 쓴다 — 대조군에는 광고가 없으므로 플랫폼 전환도 잡히지 않습니다. 반드시 자사 주문 데이터로 비교해야 합니다.
5. 중간에 들여다보고 판단한다 — 2주 차에 유의미해 보인다고 종료하면 거짓 양성 확률이 크게 올라갑니다. 기간은 시작 전에 확정하고 그대로 지킵니다.
6. 결과를 영구적인 사실로 취급한다 — 증분은 계절, 소재, 경쟁 상황, 예산 규모에 따라 달라집니다. 분기 또는 반기 단위로 재측정해야 하며, 한 번 측정한 iROAS를 1년간 쓰는 것은 측정하지 않는 것과 크게 다르지 않습니다.

8. 언제 해야 하고, 언제 하지 말아야 하나

자주 묻는 질문

마치며

증분성 측정은 화려한 기법이 아닙니다. 광고를 껐을 때 무슨 일이 일어나는지 실제로 확인해 보는 것, 그게 전부입니다. 대신 제대로 하려면 설계·검정력·해석의 세 단계를 모두 지켜야 하고, 그 과정에서 매출 일부를 의도적으로 포기해야 합니다. 그래서 대부분의 브랜드가 하지 않고, 하지 않기 때문에 대시보드의 숫자를 믿은 채로 예산을 늘립니다.

예산 규모가 커질수록 "이 숫자가 진짜인가"를 확인하는 비용보다, 확인하지 않고 틀린 판단을 이어가는 비용이 훨씬 커집니다. 연간 광고비가 수억 원 단위라면, 한 번의 실험 설계는 그 자체로 가장 수익률 높은 투자입니다. 도구보다 거버넌스가 먼저라는 원칙이 측정 영역에서도 그대로 적용됩니다.