AB 테스트7 [A/B테스트] 07 민감도를 개선하는 트리거링 알아보기 책 의 '20장 민감도 향상을 위한 트리거링'를 요약정리한 내용입니다. 트리거링 트리거링은 실험의 영향을 받지 않았을 사용자가 생성한 노이즈를 필터링해서 민감도(통계적 검정력)을 개선할 수 있는 방법입니다. 조직의 실험 성숙도가 향상됨에 따라 더 많은 트리거 실험이 실행되고 있죠. 실험을 분석할 때, 어떤 사용자가 있는 변형군과 다른 어떤 변형군(반사실적) 간의 시스템 또는 사용자 행동에 (잠재적으로) 차이가 있는 경우, 사용자에게 트리거를 적용할 수 있습니다. 적어도 모든 트리거된 사용자에 대해 분석 단계를 수행하는 것이 중요합니다. 실험 실행 시에 트리거 이벤트가 로그에 기록되게 하면, 트리거된 사용자 모집단을 더 쉽게 식별할 수 있습니다. 트리거링의 예 일부 사용자에게만 영향을 주는 변경을 수행한 .. 2023. 9. 18. [A/B테스트] 06 실험에 사용되는 중요한 통계 이론들 책 의 '17장 온라인 종합 대조 실험에 사용되는 통계 이론'를 요약정리한 내용입니다. 들어가며 17장부터는 책의 5부가 시작되는데 주로 데이터 과학자와 통제실험의 설계 및 분석에 대한 심층적인 이해를 원하는 사람들을 위한 7가지 고급 분석 주제들을 다루고 있습니다. 그래서 내용이 이해하기 어려울 수 있습니다. 오늘 글에서는 가설 검정 및 통계적 검정력을 포함한 실험에 중요한 통계 이론들을 살펴보겠습니다. 2표본 t검정 2표본 t검정은 실험군과 대조군의 차이가 실제인지 또는 잡음인지를 결정하는 가장 일반적인 통계적 유의성 테스트로, 분산에 대한 두 평균 간의 차이 크기를 확인합니다. 차이의 유의성은 p값으로 표시되고, p값이 낮을수록 실험군과 대조군이 다르다는 것을 의미합니다. 2표본 t검정을 관심 지표.. 2023. 8. 29. [A/B테스트] 05 관측 인과 연구는 어떻게 설계할까? 책 의 '11장 관측 인과 연구'를 요약정리 및 관련 사례를 조사한 내용입니다. 무작위 대조 실험은 인과관계를 확립하기 위한 탁월한 표준이지만 때때로 그런 실험을 진행하는 것이 불가능하기도 합니다. 이런 경우, 가능한 설계 범위와 흔히 하는 실수가 어떤 것인지 이해하는 것이 유용하겠죠? 먼저 종합 대조 실험이 불가능한 경우부터 알아보겠습니다. 1. 종합 대조 실험이 불가능한 경우 '사용자가 휴대전화를 아이폰에서 삼성으로 바꾸는 것은 제품 계약에 어떤 영향을 미칠까?', '사용자들을 현재 사용하고 있는 서비스로부터 강제로 로그아웃시키면 얼마나 많은 사용자가 다시 돌아올까?'와 같은 질문들에 대한 답변을 하기 위해서는 특정 변화에 의한 인과 효과를 측정해야 하고, 이는 변화의 영향을 받는 집단과 그렇지 않은.. 2023. 8. 15. [A/B테스트] 04 실험을 잘 실행하려면 어떤 지표와 OEC가 필요할까? 책 의 '07 실험을 위한 지표와 종합 평가 기준'을 요약정리한 내용입니다. 온라인 종합 대조 실험을 잘 설계하고 실행하려면 효과적인 지표와 종합 평가 기준(OEC)가 필요하다는 것은 이제 다 알고 있는 사실입니다. 그러면 어떤 특성을 가져야 좋은 지표와 종합 평가 기준일지 알아볼까요? 1. 비즈니스 지표로부터 실험에 적절한 지표 작성하기 데이터 기반 조직은 종종 목표, 동인 및 가드레일 지표를 사용해서 투명성과 설명책임에 따라 비즈니스 목표를 조정하고 실행합니다. 하지만 이러한 비즈니스 지표는 온라인 실험에 직접적으로 유용하진 않을 수 있는데요. 실험에 대한 지표는 아래 세 가지 고려할 사항이 있기 때문입니다. 측정 가능해야 한다 단기(실험 기간)에 측정할 수 있어야 하고 계산이 가능해야 합니다. 하지.. 2023. 8. 8. 이전 1 2 다음
