![[AB180 Growth Series 2] Braze MCP로 고객 데이터 분석 끝장내기](https://i.ytimg.com/vi/psSJnwXmqBA/hqdefault.jpg)
Braze MCP로 고객 데이터 분석 끝장내기: CRM의 진짜 기여도를 증명하는 법
이 발표는 리텐션 주식회사 심규섭 대표가 브레이즈(Braze) MCP와 앰플리튜드(Amplitude) MCP를 듀얼로 활용하여, 대시보드 상의 착시를 걷어내고 CRM 캠페인의 진짜 증분 효과(Incrementality)를 수학적으로 증명한 실전 사례를 공유하는 내용입니다. 컨트롤 그룹 설계의 함정, 타임 윈도우 불일치 문제, 그리고 iROAS 1900%라는 놀라운 결과까지 구체적으로 다룹니다.
1. 발표자 소개와 배경 이야기
발표자는 리텐션 주식회사의 심규섭 대표로, 2010년부터 디지털 마케팅을 해왔고, 2016년부터 약 3년간 싱가포르에서 스카이스캐너의 그로스 매니저로 일한 경험이 있습니다. 2020년 코로나 시기에 여행 도메인이라는 직격탄을 맞는 비즈니스에 있다가 한국으로 돌아와 스타트업 컨설팅을 시작했는데, 주로 제로 투 원(0→1) 또는 원 투 텐(1→10) 단계의 초기 스타트업들을 많이 도왔다고 합니다.
그는 브레이즈, 앰플리튜드, 에어브리지 같은 마테크 솔루션들을 굉장히 좋아하는데, 이 세 가지를 모두 활용할 수 있었던 최고의 파트너이자 클라이언트가 바로 오늘 사례의 주인공인 애슬러(Athler)였다고 소개합니다.
"처음에 저희가 확신을 가지고 '아 리텐션한테 맡기면 무조건 다 되는 거지' 이런 느낌이 전혀 아니었고, '저 좀 승률이 안 좋을 것 같은데 이거 해도 되나?' '아 한번 해 봅시다'라고 했었던 게 정말 너무 잘돼서 한 1년 정도 정말 재밌게 프로젝트를 많이 했었던 것 같습니다."
최근 서너 달 동안은 AI 코딩 에이전트들을 적극적으로 활용하면서, 15년간 비개발자 마케터로서 천추의 한이었던 다양한 프로젝트들을 실제로 만들어보는 경험을 많이 했다고 합니다. 오늘 발표의 계기도 원래는 소규모 웨비나로 기획했었는데, AB180 남성필 대표님이 자리를 마련해주셔서 더 큰 스케일로 진행할 수 있게 되었다고 감사를 전합니다.
특히 최근 등장한 MCP(Model Context Protocol)에 대해서도 언급하는데, 처음에는 브레이즈 MCP가 읽기 전용이라 별로 재미없겠다고 생각했지만, 이번 케이스를 통해 생각이 완전히 바뀌었다고 합니다.
"문서를 읽어봐도 '아 이거 너무 재미없는데, 나 안 할래'라고 생각을 하지 마시고 그냥 한번 저질러 보는 게 제일 저의 철학이었던 것 같아요."
2. 오늘의 핵심 주제: 애플 투 애플(Apple to Apple) 비교
오늘 발표의 주제는 "CRM의 진짜 기여도를 애플 투 애플로 증명하다"입니다. '애플 투 애플'이란 동일한 조건에서의 공정한 비교를 뜻합니다. 예를 들어 객단가(AOV)가 서로 다른 제품을 퍼포먼스 마케팅으로 팔면서 ROAS를 비교하면 그건 사과 대 사과 비교가 아닌 것이죠.
이번 애슬러 케이스에서도 컨트롤 그룹이 캔버스에서 바로 내려왔을 때 시작되고, 발송은 딜레이 후에 이뤄지는 구조적 문제가 있었는데, 이 "약간의 트리키함"을 자세히 파헤치는 것이 발표의 핵심입니다.
발표에서 다루는 세 가지 핵심 포인트는 다음과 같습니다:
첫째, 대시보드의 착시 🔍
컨버전 레이트가 아무리 높은 캠페인이라 해도 실제로는 마케팅 비용을 낭비하고 있거나 ROI 포지티브가 아닌 경우가 있습니다. 그래서 처음 세팅하는 캠페인이나 캔버스에는 무조건 컨트롤 그룹을 설정하기를 권고하며, 브레이즈의 글로벌 컨트롤 그룹을 1~5% 정도 걸어두는 것을 추천합니다.
"글로벌 컨트롤 그룹이라는 건 아예 모든 브레이즈 SDK에서 수집된 유저들의 N%의 유저들을 일부러 그냥 컨트롤 그룹으로 잡아 놓는 거거든요."
이렇게 1년 동안 운영하면 컨트롤 그룹 대비 브레이즈가 만들어낸 증분(increment)을 확인할 수 있는데, 실제로 증분이 나지 않는 케이스도 있었다고 합니다.
둘째, MCP 듀얼 워크플로우 🔗
브레이즈 MCP 하나만, 또는 앰플리튜드 MCP 하나만 썼다면 밋밋했을 텐데, 두 개를 함께 쓰면서 훨씬 재밌는 분석이 가능했다고 합니다. 여기에 브레이즈 커런츠(Currents)로 앰플리튜드에 데이터를 연동해둔 것이 "신의 한 수"였다고 강조합니다. 플러스 친구에게 발송되는 메시지 대상자들은 모두 회원가입한 유저라 유저 아이디로 완벽한 매핑이 가능했고, 덕분에 고도화된 분석을 할 수 있었습니다.
셋째, 컨버전 레이트만 보면 큰 그림을 놓친다 📊
"컨버전 레이트만 보면 무조건 큰 그림을 놓친다. iROAS를 꼭 봐야 된다가 저의 이 큰 흐름이라고 생각하시면 될 것 같아요."
3. iROAS와 인크리멘탈리티(Incrementality)의 개념
iROAS에서 'i'를 빼면 ROAS(Return on Ad Spend)이고, 'i'는 Incremental(증분)을 의미합니다. 단순히 마케팅 비용 대비 매출이 아니라, 마케팅 비용 대비 증분 매출을 보는 것이 핵심입니다.
인크리멘탈을 측정하려면 자연 전환을 제외한 순수한 증분만 가져와야 하는데, 이를 위해 컨트롤 그룹이 동일 타이밍에 비슷한 세그먼트의 유저들로 구성되어야 합니다.
심규섭 대표는 이를 순대국밥집 비유로 재밌게 설명합니다 😄
"제가 순대국밥집 사장님인데, 이지현 매니저가 아주 꾀가 많은 친구여서 그 국밥집 바로 앞에서 들어오는 손님한테 쿠폰을 계속 나눠주는 거예요. 그러면 당연히 증분 효과가 없었겠죠. 이미 들어올 사람들한테 쿠폰을 하나 더 줌으로써 마케팅비에 쿠폰까지 쓰게 되는 거죠."
치사한 예시도 들어줍니다:
"컨트롤 그룹에는 6개월 동안 방문 안 한 도먼트(dormant) 유저들을 넣어놓고, 우리는 최근 6개월 동안 구매 세 번 이상 한 유저들한테 카카오 메시지를 발송한 다음에 '우리 인크리멘탈이 이렇게 있었어요'라고 하면 절대로 안 되는 거고요."
카니발리제이션(Cannibalization) 주의 ⚠️
두 번째로 주의할 점은 카니발리제이션입니다. 유저의 구매 의도(intent)는 빨리 식는다는 것을 경험적으로 느꼈다고 합니다. 메타 광고를 보고 들어와서 상품 상세 페이지(PDP)를 본 유저에게 3일 뒤에 리타겟팅을 하면 이미 다른 제품을 샀을 확률이 높고, 반대로 아직 상품을 보고 있는 중에 알림을 보내면 카니발리제이션이 심해지는 것이죠.
미국에서의 대표적 사례로 우버가 엄청난 UA 비용을 집행하고 있었는데, 대부분이 브로드 트래픽이었고 다 꺼봐도 매출 탑라인이 줄지 않았던 케이스, 그리고 무신사(BMB)가 퍼포먼스 마케팅을 전부 꺼보는 실험을 했었고 탑라인에 큰 변화가 없어 브랜딩으로 시프트한 케이스를 소개합니다.
"내부 사람들한테 듣기로는 '우리 회사가 되게 아마존일(Amazon-ish)의 회사였는데 어쩌다 보니까 애플 스타일의 회사가 돼 있더라' 뭐 이런 얘기를 하더라고요."
단, 이 회사들은 이미 브랜드 네임이 있는 상황이었기 때문에 무조건 퍼포먼스 마케팅을 끄라는 얘기는 아니라고 덧붙입니다.
4. 실전 사례: 애슬러 캔버스 분석의 함정과 발견
캠페인 개요
애슬러는 상품 조회 후 구매하지 않고 이탈한 유저에게 카카오 플러스 친구로 추천 상품을 캐러셀 형태로 발송하는 브레이즈 캔버스를 운영하고 있었습니다.
처음 이 캔버스를 분석했을 때, 결과는 충격적이었습니다:
"그냥 대충 봤을 때 증분이 없음으로 떴어요. 컨트롤 그룹이 컨버전 2.1%, 트리트먼트가 2.15%로 나왔었습니다."
캔버스 구조의 문제 발견 🕵️
캔버스 구조를 살펴보면, 전체 엔트리에서 세 갈래로 나뉘어 있었습니다:
- 25%: 6시간 뒤 발송
- 25%: 24시간 뒤 발송
- 50%: 컨트롤 그룹 (즉시 세팅)
여기서 문제는 컨트롤 그룹이 캔버스 엔트리되자마자 컨버전 윈도우 타이머가 돌기 시작한다는 점이었습니다. 예를 들어 0시에 컨트롤 그룹에 들어간 유저는 그날 23시 59분 59초까지 컨버전이 잡히는데, PDP 조회 후 구매 확률은 5~10분 내가 가장 높고 이후 급격히 떨어지는 분포를 보입니다.
"구매 전환 집중 구간, 골든 타임들이 컨트롤 그룹에 포함이 돼 있었던 거죠. 그래서 오히려 컨트롤 그룹에 어트리뷰션이 더 많이 잡혀 있었던 겁니다."
트리트먼트 그룹은 6시간 또는 24시간의 딜레이가 있었기 때문에 골든 타임이 측정 누락 구간에 속해 있었고, 이는 애플 투 애플 비교가 아닌 상태였던 것입니다. 심규섭 대표는 이 멋진 캠페인에서 증분이 없다는 결과에 직감적으로 의문을 품었습니다.
"저는 전문가의 감을 믿는 케이스도 있지만... 심리학자 게리 클라인의 인식 기반 결정(Recognition-Primed Decision) RPD 모델처럼, 전문가가 경험을 통해 빠르게 상황 판단을 직관적으로 하는 거를 말하는데, 저는 증분이 없다는 걸 보고 '아 이거는 무조건 틀렸다. 좀 더 뜯어봐야겠다'라는 생각을 했습니다."
5. MCP 듀얼 워크플로우로 문제 해결하기
문제를 발견한 후 두 가지 선택지가 있었습니다:
- 타임 윈도우를 다시 맞춰서 캔버스를 새로 만드는 것 (시간 소요)
- 지금 있는 데이터를 더 잘 해석하는 것 (즉시 가능)
바로 그때 MCP를 써봐야겠다는 생각이 떠올랐고, 다행히 브레이즈 커런츠가 앰플리튜드에 연동되어 있었고, 두 플랫폼 모두 MCP를 지원했으며, 접근 권한도 살아있었습니다 🎯
스텝 1: 브레이즈 MCP로 로데이터 추출
브레이즈 MCP의 리드(읽기) 기능을 활용해 get_canvas_details 함수를 호출하면, 각 배리언트의 스텝 ID와 딜레이 시간까지 정확하게 추출할 수 있었습니다.
스텝 2: 앰플리튜드 MCP로 정밀 퍼널 분석
앰플리튜드 MCP를 통해 퍼널 분석을 수행했는데, 일일이 대시보드에서 클릭하며 설정할 필요 없이 클로드 코드나 오픈 코드에게 "야 이거 해줘"라고만 말하면 됐다고 합니다.
"대시보드를 만진 시간은 거의 한 5분, 10분도 안 됐었던 것 같습니다."
다만 앰플리튜드 MCP에서 아직 지원하지 않는 부분이 일부 있었는데, 코딩 에이전트가 "대시보드 가서 애그리게이트를 레뉴(revenue)로 설정하고 CSV로 다운로드 받아서 다시 줘"라고 안내해주는 식으로 끈질기게 문제를 해결해나갔다고 합니다.
타임 윈도우 보정의 핵심 아이디어 💡
6시간 딜레이 배리언트의 경우, 6시간짜리 퍼널 컨버전을 하나 만들고, 30시간짜리 퍼널 컨버전을 또 하나 만든 뒤, 30시간에서 6시간 것을 빼면 6시간 0분 1초부터 23시간 59분 59초까지의 데이터만 깔끔하게 뽑아낼 수 있었습니다.
"이런 풀 시전(full precision)이 없으면 '아 그냥 캔버스 다시 만들자'라고 했었을 텐데, 저의 게으름이 오히려 이런 재밌는 발견을 할 수 있었던 재밌는 사례였던 것 같습니다."
6. 놀라운 결과: iROAS 1900%와 론코하비의 검증
분석 결과
발송 단가 약 20원, 당시 AOV(평균 주문 금액) 약 53,000원 기준으로 계산했을 때, iROAS가 무려 1900%가 나왔습니다. 컨버전 레이트 리프트는 47%인데 어떻게 iROAS가 이렇게 높게 나오냐는 의문이 있을 수 있지만, 이는 발송당 비용이 매우 낮기 때문에 가능한 수치입니다.
클릭 vs 임프레션(상기 효과) 📱
흥미로운 발견도 있었습니다. 브레이즈에서 쏘는 메시지의 성과를 MMP로 측정할지 고민하는 분들이 많은데, 심규섭 대표는 오히려 안 하는 편이라고 합니다.
"클릭으로 보면 ROAS가 진짜 안 좋아요. 근데 상기 효과, 그러니까 메시지를 열어보는 사람들은 되게 높은데 클릭을 안 하고 오히려 그냥 브라우징만 하신 다음에 다시 상기해서 구매를 하시는 케이스들이 훨씬 더 많았다."
에어브리지 링크 클릭을 달면 퍼포먼스 마케팅이나 UA 채널의 어트리뷰션을 빼앗게 되어 팀 간 갈등이 생길 수도 있기 때문에, 차라리 컨트롤 그룹을 두고 임프레션까지 포함한 인크리멘탈을 보는 것을 훨씬 추천한다고 합니다.
론코하비(Ron Kohavi)의 깐깐한 눈 👀
심규섭 대표는 분석 시 AI에게 자주 넣는 프롬프트 중 하나가 "론코하비의 눈으로 검증해줘"라고 합니다. 론코하비는 AB 테스팅 분야의 대가로, 링크드인에서도 다른 분석가들의 결과에 날카롭게 지적하는 것으로 유명한 인물입니다.
"론, 너는 이 정도로 깐깐해서 항상 문제가 되는 것 같아" 이 정도로 있는 분인데요.
이번 분석도 론코하비의 관점으로 재검증해봤더니, 완전 순수한 수준의 증분이라고 보기엔 어렵다는 피드백이 나왔고, 1900%였던 iROAS가 약 900% 정도로 보정되었습니다. 주요 문제점은 타임 윈도우가 완벽히 동일하지 않았다는 점과 통계적 유의성(statistical significance), 샘플 사이즈 등이었습니다.
"론코하비 아저씨는 무조건 14일 이상을 돌려라고 하는데 저는 그게 꼭 필요한 것인가라는 생각도 좀 드는 것 같아요."
메타 캠페인 같은 경우 테스트 윈도우를 확 줄여서 예산을 하루 만에 빨리 태워 실험을 빠르게 마무리하는 방식도 효과적이라고 덧붙입니다.
7. AI 코딩 에이전트와 자동화의 힘
협업 필터링과 다채널 활용
리텐션 팀은 두 명뿐인 부티크 팀이지만, 15~16년간의 네트워크를 활용해 패션 도메인의 데이터 전문가와 협업하여 협업 필터링(Collaborative Filtering) 모델을 만들었고, 이를 카카오 플러스 친구, 커스텀 HTML 메시지, 그리고 가장 ROAS가 좋은 채널인 이메일 마케팅에까지 활용했습니다.
실험 관리봇 자동화 🤖
브레이즈 MCP로 실험 관리봇도 만들었는데, 진행 중인 모든 캔버스와 캠페인의 AB 테스트를 자동 수집하고, AI가 시스템 프롬프트에 맞춰 인사이트를 요약해주는 구조입니다. 구글 앱스크립트나 GCP 클라우드런으로 자동화하여 매일 아침의 노가다를 완전히 없앨 수 있었다고 합니다.
"본인의 일주일 혹은 하루의 캘린더를 쭉 보시고 가장 많이 노가다 하는 게 어떤 태스크인지 보시고, 그거를 꼭 자동화를 해 보셨으면 좋겠습니다."
누구나 할 수 있다는 메시지 💪
작년 10월부터 AI 코딩 에이전트를 쓰기 시작했고, 12월 26일부터 5~6일간 친구들과 숙식하며 클로드 코드를 집중적으로 공부했다고 합니다.
"어제도 한 20분이랑 같이 했는데, 맥북을 한 번도 안 써본 분이 두 시간 만에 카드 뉴스 제작 서비스를 그냥 만드시고... 저 너무 신기하더라고요."
"20시간짜리 강의 보고 그다음에 해봐야지, 이런 생각을 절대로 버리셨으면 좋겠어요. 그냥 무조건 해보시고, 혼자 하실 때 너무 어렵다면 전문가한테 서너 시간만 배우면 알아서 잘하시는 것 같아요."
심규섭 대표 자신도 작년 9월부터 FOMO 때문에 우울했다고 솔직하게 고백합니다.
"아 나는 AI 코딩도 못하고, 코딩 부트캠프도 진짜 많이 듣고 이랬는데 왜 이렇게 나는 못할까... 근데 계속 '아 그냥 한번 해보자'라고 해봤더니 조금조금씩 자신감이 붙고, 다시 좀 더 다른 분들한테 이런 재밌는 결과들을 나눌 수 있게 된 것 같습니다."
8. 컨설팅 철학과 마무리
이번 사례는 혼자 만든 것이 아니라 애슬러의 이지현 매니저와 함께 만든 것이며, 이것이 자신의 컨설팅 철학과 딱 맞았다고 합니다.
"클라이언트라고 해서 되게 보스처럼 굴거나 '데이터 정리 좀 하세요' 이런 거 전혀 없었고, 어떨 때는 코치처럼, 어떨 때는 컨설턴트처럼, 어떨 때는 에이전시처럼, 술도 같이 먹고 친구도 되고... 그랬던 게 오히려 이런 폭발적인 성장을 만들지 않았나 싶습니다."
마테크를 도입했지만 풀 포텐셜을 못 쓰고 있다고 느끼시는 분들은 리텐션 팀과 한번 이야기해보시면 좋겠다는 말로 발표를 마무리합니다.
마치며
이 발표의 핵심을 정리하면, 대시보드에 보이는 컨버전 레이트를 그대로 믿지 마라는 것입니다. 컨트롤 그룹의 타임 윈도우가 트리트먼트와 다르면 착시가 발생하고, 이를 바로잡았을 때 비로소 iROAS 1900%(보수적으로도 900%)라는 진짜 증분 효과를 확인할 수 있었습니다. 브레이즈 MCP와 앰플리튜드 MCP를 함께 활용하는 듀얼 워크플로우, 그리고 AI 코딩 에이전트를 적극 활용한 자동화는 소규모 팀도 강력한 데이터 분석을 할 수 있다는 가능성을 보여주는 사례입니다. 카니발리제이션과 인크리멘탈리티, 이 두 키워드를 꼭 기억해두세요 🎯