[A/B테스트] 03 지표는 왜 필요하고 어떤 것들이 있을까?

책 <A/B 테스트(론 코하비.다이앤 탕.야 쉬 지음)>의 '06 조직 운영을 위한 지표'를 요약 및 관련 사례조사를 정리한 내용입니다.

---

0. 지표의 필요성

조직은 진보와 행동에 대한 설명책임을 측정하기 위해 좋은 지표를 필요로 합니다. 예를 들어, 조직을 운영하는 방법 하나는 OKR(목표 핵심 결과)를 사용하는 것인데, 여기서 목표는 장기 목표이며 핵심 결과는 목표를 향해 나아가는 단기적이고 측정 가능한 결과입니다. OKR 시스템을 사용하는 경우, 그러한 목표를 향한 진보를 추적하기 위해서는 좋은 지표가 핵심이라고 할 수 있습니다.

상이한 종류의 조직을 위한 지표, 이러한 지표들이 충족해야 하는 중요한 기준, 지표의 작성 및 평가방법 및 시간에 걸친 반복 시행의 중요성을 이해하는 것은 데이터를 기반으로 의사결정을 수행하기 위해 필요한 통찰력을 얻는 데 도움이 됩니다.

 

1. 지표의 분류

① 목표 지표

목표 지표는 성공 지표 또는 진북 지표라고도 불리며, 조직이 궁극적으로 무엇을 신경쓰는지를 보여주는 지표입니다. 목표 지표를 도출하기 위한 첫 번째 단계는 먼저 자신이 원하는 것을 단어로 표현해 보는 것입니다. 예를 들어, 당신의 제품이 존재하는 이유는? 귀사의 성공은 어떤 모습인가? 조직의 지도자들은 이러한 질문에 대답할 때 종종 회사의 미션과 결부되죠. 즉 목표는 조직의 미션과 직접적이라는 것입니다.

목표를 지표로 완벽하게 변환하는 것은 어렵기 때문에 말로써 목표를 명확하게 표현하는 것이 중요합니다. 시간이 지남에 따라 반복적으로 개선할 필요가 있고, 사람들이 지표와 목표의 명확한 표현 사이의 한계 및 차이를 이해하도록 하는 것도 중요합니다.

② 동인 지표

동인 지표는 사인 포스트 지표, 대리 지표, 간접 지표 또는 예측 지표라고 불리며, 목표 지표보다 단기적이고 더 빠르게 움직이며 더 민감한 지표인 경향이 있습니다. 동인 지표는 성공 그 자체보다는 조직을 성공으로 이끌기 위한 사고의 인과관계 모델, 즉 성공 요인이 어떤 가설을 반영하는가를 반영합니다.

무엇이 성공을 이끄는가에 대해 생각할 수 있는 몇 가지 유용한 지표 프레임워크가 있습니다.

HEART 프레임워크	행복(Happiness), 참여(Engagement), 고객의 획득, 유지(Retention), 작업 성공(Task Success)
PIRATE 프레임워크	AARRR! 획득(Acquistion), 활성(Activation), 유지(Retention), 조회(Referred), 매출(Revenue)

이러한 프레임워크는 성공으로 이어지는 단계를 세분화하는 데 도움이 될 수 있습니다. 예를 들어, 궁극적으로 매출을 달성하기 전에 일반적인 회사는 사용자를 확보하고 그들의 제품이 사용자를 유지할 만큼 충분한 매력을 가지고 있는지를 확인해야 합니다.

즉, 좋은 동인 지표는 조직이 목표 지표를 향해 올바른 방향으로 움직이고 있다는 것을 표시합니다.

③ 가드레일 지표

가드레일 지표는 가정을 위반하는 것을 방지하기 위한 것으로, 중요한 제약을 위반하지 않고 적절한 균형을 가지고 성공을 향해 나아가기 위해서는 가드레일 지표가 중요합니다. 

예를 들어, 목표가 가능한 한 많은 사용자를 등록시키는 것일 수도 있지만, 사용자당 참여 수준이 급격히 떨어지는 것을 원하지 않습니다. 이 경우를 가드레일 지표로 설정한다. 또 하나의 예는 암호 관리 회사의 경우에 보안이 목표일 수 있지만 사용 편의성과 접근성이 가드레일이 될 수 있습니다. 

목표, 동인 및 가드레일 지표는 적절한 양의 세분성과 포괄성을 제공하지만 다른 비즈니스 지표 분류법도 있습니다.

 

• 자산 대 참여 지표: 자산 지표는 총 페이스북 사용자 수(계정) 또는 총 연결 수처럼 정적인 자산의 축적을 측정합니다. 참여 지표는 세션 또는 페이지뷰와 같은 사용자의 행동 결과 또는 다른 사용자의 제품 이용에 이해 받는 가치를 측정합니다.
• 비즈니스 대 운영 지표: 사용자당 매출 또는 일일 활성 사용자(DAU)와 같은 비즈니스 지표는 비즈니스의 상태를 추적합니다. 초당 쿼리 등의 운영 지표는 운영상의 문제가 있는지 여부를 추적합니다.

이외에는 실험에 일반적으로 사용되는 다른 유형의 지표도 있습니다.

 

• 데이터 품질 지표: 기초 실험의 내적 타당성과 신뢰도를 보장합니다.
• 진단 또는 디버그 지표: 목표, 동인 또는 가드레일 지표가 문제가 있음을 나타내는 시나리오를 디버깅할 때 유용합니다. 일반적으로 너무 세부적이어서 지속적으로 추적할 수 없지만 상황을 파악할 때 유용하게 사용할 수 있는 추가적인 세분화 또는 기타 정보를 제공할 수 있습니다.
  • 예) '클릭률'이 핵심 지표인 경우, 페이지의 특정 영역에서 클릭을 나타내는 지표가 20개 있을 수 있습니다.
  • 예) '매출'이 핵심 지표인 경우 매출을 두 가지 지표, 즉 사용자가 구매했는지 여부만을 나타내는 부울(0/1)과, 구매한 경우에만 구매액을 나타내고 그렇지 않은 경우 무효한 값을 가지는 조건부 매출 지표로  분해할 수 있습니다. 더 많은/더 적은 사람들이 구입했기 때문에 또는 평균 구매 가격이 변했기 때문에 매출이 증가/감소됐는가와 같은 식으로 상이한 이야기를 전달합니다.

Parmenter는 "핵심 성과지표(KPI)"에서 전체적인 비즈니스 전략에 목표와 동인 지표를 맞추는 것이 중요하다는 점을 강조합니다. 조직 규모와 목표에 따라, 각각의 목표, 동인, 가드레일 지표를 가진 여러 팀을 가질 수 있으며, 이 모든 팀의 이해관계는 전체적인 목표, 동인, 가드레일 지표와 일치해야 합니다.

 

2. 지표의 공식화: 원리와 기법

이제 지표를 공식화해 봅시다. 질적 개념을 구체적이고 계량화할 수 있는 정의로 가져가는 것입니다.

목표 및 동인 지표를 개발할 때의 주요 원칙은 아래와 같습니다.

 

1. 목표 지표가 다음과 같은지 확인하라.
   • 단순한지: 이해당사자가 쉽게 이해하고 폭넓게 수용할 수 있어야 한다.
   • 안정적인지: 새로운 기능을 실행할 때마다 목표 지표를 업데이트할 필요가 없어야 한다.
2. 동인 지표가 다음과 같은지 확인하라.
   • 목표와 이해 관계 일치 여부: 동인 지표가 사실상 성공의 동인인지 검증하는 것이 중요하다. 이 검증에 대한 일반적인 기법 중 하나는 이러한 목적을 위해 실험을 명시적으로 실행하는 것이다.
   • 행동 가능 및 관련성 여부: 팀은 이들 지표를 움직이기 위해 레버(제품 기능과 같은 것)에 행동을 취할 수 있다고 느껴야 한다.
   • 민감성 여부: 동인 지표는 목표 지표를 위한 선행 지표이다. 대부분의 이니셔티브로부터의 영향을 측정하기 위해 충분히 민감한지를 확인하라.
   • 조작에 대한 내성 여부: 동인 지표와 목표 지표는 성공을 측정할 때 쉽게 조작되도록 만들지 마라. 개인의 유인과 행동이 지표를 움직이고, 조작할 가능성이 있는지를 생각하라.

지표 개발을 위한 몇 가지 유용한 기법과 고려사항도 간단하게 살펴보겠습니다.

 

• 아이디어를 도출하기 위해 확장성이 낮은 방법의 가설을 사용한 다음, 정확한 정의를 결정하기 위해 확장 가능한 데이터 분석에서 가설을 검증한다.
• 목표나 동인 지표를 정의할 때는 품질을 고려하라.
• 지표의 정의에 통계적 모델을 통합할 때, 모델을 해석 가능한 상태로 유지하고 시간에 걸쳐 검증하는 것이 필수적이다.
• 때로는 사용자 불만족 등 원하지 않는 것을 측정하는 것이 원하는 것을 측정하는 것보다 더 쉬울 수 있다.
• 지표 자체가 프록시(대용물)라는 점을 항상 기억하라. 각 지표는 독자적인 실패 사례를 가지고 있다.

 

3. 지표의 평가

대부분의 지표 평가와 검증은 공식화 단계에서 이루어지지만, 시간이 지남에 따라 지속적으로 이루어져야 하는 작업이 있습니다. 예를 들어, 새 지표를 추가하기 전에 기존 지표와 비교해 추가 정보를 제공하는지 여부를 평가해야 합니다. 생애가치 지표는 시간 경과에 따라 평가해서 예측 오류가 작게 유지되도록 해야 합니다. 실험에 많이 의존하는 지표는 주기적으로 평가해 조작을 초래하는지 여부를 결정해야 합니다.

가장 흔하고 도전적인 평가 중 하나는 동인 지표의 목표 지표에 대한 인과관계를 구축하는 것입니다. 즉, 이 동인 지표가 실제로 목표 지표를 구동하는지 여부입니다. 

 

4. 지표의 진화

지표의 정의는 시간이 지남에 따라 진화합니다. 개념은 그대로 유지되어도 정확한 정의는 변할 수 있습니다. 변화는 비즈니스의 진화, 환경 진화, 측정 기준에 대한 이해의 진화와 같은 이유로 발생할 수 있습니다.

어떤 지표들은 다른 지표들보다 더 빨리 진화할 수 있습니다. 예를 들어, 동인, 가드레일 및 데이터 품질 지표는 종종 근본적인 비즈니스 또는 환경 진화가 아니라 방법론 개선에 의해 주도되기 때문에 목표 지표보다 더 빨리 진화할 수 있습니다.

지표는 시간이 지남에 따라 진화할 것이기 때문에 조직이 성장함에 따라 지표의 변화도 보다 구조적으로 처리해야 합니다. 특히, 새로운 지표의 평가, 이에 수반되는 스키마 변경, 필요한 데이터의 백업 등을 지원하기 위한 인프라가 필요할 것입니다. 

---

사례 - Facebook의 광고 게시물 참여 지표

지표와 관련하여 페이스북의 사례를 가져왔습니다.

• 게시물 참여: Facebook에서 사람들이 광고와 관련하여 취한 총 행동 수입니다.
• 용도: 게시물 참여는 광고가 타겟과 관련이 있다는 뜻이므로 이 지표를 활용하면 광고의 성과를 높이는 데 도움이 됩니다. 사람들이 관련 있는 광고를 보았을 때 광고에 반응할 가능성이 더 큽니다. 이 지표를 통해 이러한 반응을 측정하고 다른 광고나 캠페인에 대한 참여와 비교할 수 있습니다.
• 계산 방법: 게시물 참여에는 광고가 게재되는 동안 사람들이 광고와 관련하여 취한 모든 행동이 포함됩니다. 여기에는 광고에 대한 공감, 댓글, 공유 또는 쿠폰 발급, 사진 또는 동영상 조회, 링크 클릭 등의 행동이 포함될 수 있습니다.
• 게시물 참여 분석 데이터 지표
  • 게시물 공유
  • 게시물 공감
  • 게시물 저장
  • 게시물 댓글
  • 페이지 좋아요
  • 게시물 반응
  • 동영상 3초 이상 재생
  • 사진 조회
  • 링크 클릭

이렇게 지표를 활용해서 A/B 테스트 설계를 해 볼 수도 있을 것 같습니다. 페이스북 지표에 대한 자세한 설명과 추가적인 사항은 아래 링크를 참고해 주세요!

https://ko-kr.facebook.com/business/help/735720159834389?locale=ko_KR 

Facebook 광고의 게시물 참여 | Meta 비즈니스 지원 센터

---

이번 글에서는 지표의 필요성 및 종류에 대해 블로깅해 보았습니다. 이어지는 퀴즈도 열심히 풀어 주세요! (ง •̀ᴗ•́)ง✧

 

1. 지표에 대한 설명 중 틀린 것을 골라 주세요.

① 목표를 향한 진보를 추적하기 위해서는 좋은 지표가 필요하다.

② 목표 지표는 성공 지표 또는 진북 지표라고도 불리며, 조직이 궁극적으로 무엇을 신경쓰는지를 보여주는 지표이다.

③ 동인 지표는 목표 지표보다 장기적이고 덜 민감한 지표인 경향이 있다.

④ 지표의 가장 흔하고 도전적인 평가 중 하나는 동인 지표의 목표 지표에 대한 인과관계를 구축하는 것이다.

⑤ 지표의 정의는 시간이 지남에 따라 진화한다.

 

답(드래그): ③ 동인 지표는 목표 지표보다 단기적이고 더 빠르게 움직이며 덜 민감한 지표인 경향이 있다.

 

2. 다음에서 설명하는 지표는?

이 지표는 가정을 위반하는 것을 방지하기 위한 것으로, 중요한 제약을 위반하지 않고 적절한 균형을 가지고 성공을 향해 나아가기 위해서 중요합니다. 예를 들어, 목표가 가능한 한 많은 사용자를 등록시키는 것일 수도 있지만, 사용자당 참여 수준이 급격히 떨어지는 것을 원하지 않습니다. 이때 사용자당 참여 수준이 급격히 떨어지는 것을 이 지표로 설정합니다.

답(드래그): 가드레일 지표