본문 바로가기

분류 전체보기52

[A/B테스트] 07 민감도를 개선하는 트리거링 알아보기 책 의 '20장 민감도 향상을 위한 트리거링'를 요약정리한 내용입니다. 트리거링 트리거링은 실험의 영향을 받지 않았을 사용자가 생성한 노이즈를 필터링해서 민감도(통계적 검정력)을 개선할 수 있는 방법입니다. 조직의 실험 성숙도가 향상됨에 따라 더 많은 트리거 실험이 실행되고 있죠. 실험을 분석할 때, 어떤 사용자가 있는 변형군과 다른 어떤 변형군(반사실적) 간의 시스템 또는 사용자 행동에 (잠재적으로) 차이가 있는 경우, 사용자에게 트리거를 적용할 수 있습니다. 적어도 모든 트리거된 사용자에 대해 분석 단계를 수행하는 것이 중요합니다. 실험 실행 시에 트리거 이벤트가 로그에 기록되게 하면, 트리거된 사용자 모집단을 더 쉽게 식별할 수 있습니다. 트리거링의 예 일부 사용자에게만 영향을 주는 변경을 수행한 .. 2023. 9. 18.
[리니지 이탈 예측 모형 개발] 데이터 탐색 1. 대회 주제 리니지 유저 활동 데이터를 활용하여 잔존 가치를 고려한 이탈 예측 모형 개발 2. 분석 대상 리니지 1998년 9월 1일부터 엔씨소프트에서 서비스 중인 MMORPG 2016년 기준 누적 매출 3조 2천 억, 전 세계 누적 이용자 수 2천만 명 리니지의 특징 높은 자유도에 기반하여 현실과 유사한 다양한 활동 가능 성장 및 경제 활동: 퀘스트, 레벨업, 사냥, 낚시, 물물교환 및 상업 활동 사회 활동: 친구, 혈맹, 파티, 결혼, 전투, 채팅 그 외 유저 스스로 상호 교류를 통해 다양한 콘텐츠 생성 3. 문제의 목적 및 목표 이탈 예측 분석 이탈 징후를 보이는 고객을 사전에 선별 -> 인센티브 제공을 통해 잔존 유도 시간의 변화에 강건한 모델 구축 학습 데이터와 시점이 다른 두 개의 테스트 .. 2023. 9. 18.
[A/B테스트] 06 실험에 사용되는 중요한 통계 이론들 책 의 '17장 온라인 종합 대조 실험에 사용되는 통계 이론'를 요약정리한 내용입니다. 들어가며 17장부터는 책의 5부가 시작되는데 주로 데이터 과학자와 통제실험의 설계 및 분석에 대한 심층적인 이해를 원하는 사람들을 위한 7가지 고급 분석 주제들을 다루고 있습니다. 그래서 내용이 이해하기 어려울 수 있습니다. 오늘 글에서는 가설 검정 및 통계적 검정력을 포함한 실험에 중요한 통계 이론들을 살펴보겠습니다. 2표본 t검정 2표본 t검정은 실험군과 대조군의 차이가 실제인지 또는 잡음인지를 결정하는 가장 일반적인 통계적 유의성 테스트로, 분산에 대한 두 평균 간의 차이 크기를 확인합니다. 차이의 유의성은 p값으로 표시되고, p값이 낮을수록 실험군과 대조군이 다르다는 것을 의미합니다. 2표본 t검정을 관심 지표.. 2023. 8. 29.
[A/B테스트] 05 관측 인과 연구는 어떻게 설계할까? 책 의 '11장 관측 인과 연구'를 요약정리 및 관련 사례를 조사한 내용입니다. 무작위 대조 실험은 인과관계를 확립하기 위한 탁월한 표준이지만 때때로 그런 실험을 진행하는 것이 불가능하기도 합니다. 이런 경우, 가능한 설계 범위와 흔히 하는 실수가 어떤 것인지 이해하는 것이 유용하겠죠? 먼저 종합 대조 실험이 불가능한 경우부터 알아보겠습니다. 1. 종합 대조 실험이 불가능한 경우 '사용자가 휴대전화를 아이폰에서 삼성으로 바꾸는 것은 제품 계약에 어떤 영향을 미칠까?', '사용자들을 현재 사용하고 있는 서비스로부터 강제로 로그아웃시키면 얼마나 많은 사용자가 다시 돌아올까?'와 같은 질문들에 대한 답변을 하기 위해서는 특정 변화에 의한 인과 효과를 측정해야 하고, 이는 변화의 영향을 받는 집단과 그렇지 않은.. 2023. 8. 15.