스타트업을 위한 '실험'과 '가설' 개념 설명
막연히 이해하고 넘어갔던 실험과 가설 개념, 제대로 뽀개 봅시다.
www.minwookim.kr
기획 2주차 과제는 '가설 설정하기' 이다. 가정을 이용해서 가설을 작성하기 전에,
가설에 대한 개념을 파악하기 위해 꿀티클 자료 중 가설 관련 첫번째 아티클을 읽어보려 한다.
[실험에 대한 오해들]
1. 실험은 '그냥 한 번', '가볍게' 해보는 것?
1) 실험은 가볍게 하는 것이므로, 비용이 적게 든다? NO
실험을 하자고 말하기 전에, 실험이 기회비용을 상쇄하고도 남을 만큼 우선순위가 높은지 판단하는 작업이 선행되어야 한다.
2) 실험은 가볍고 빠르게 하는 것이므로, 계획이 필요치 않다? NO
- 누구를 대상으로
- 얼마나, 어떤
- 어떤 지표로 성공 여부를 판단
을 계획하고 설계해야 한다.
특히, 우리의 가설이 맞았는지 틀렸는지를 판단할 수 있는 성공 지표, 프로덕트에 영향을 끼치는 지 확인하기 위한 가드레일 지표를 잘 설정해야 한다. (관련 아티클: https://www.minwookim.kr/experiment-doc-template/)
실험 후 후속 조치 또한 중요하다. 실험을 면밀히 리뷰하고, 새롭게 알게 된 것이 무엇인지 정리해야 조직이 얻는 것이 있다.
2. 실험을 일단 '많이' 하는 게 무엇보다 중요하다?
실험 '개수'에만 집중할 경우 실험할 가치가 있을 만한 가설을 설정하는 과정을 생략하게 된다.
=> 빠르게 실험하는 것이 중요한 이유는, 실험하는 만큼 우리가 더 많은 정보를 얻게 되기 때문이다.
이렇게 정보를 얻으려면, 명확한 가설이 있는 상태에서 실험을 설계했을 때 가능하다.
[그렇다면 실험이란 무엇인가?]
'가설이나 이론이 실제로 들어맞는지' '다양한 조건 아래에서' '여러 가지 측정을 실시하는 일'
='몰랐던 것을 알아내기 위해' 하는 활동
간과하기 쉬운 것은, 실험은 완벽한 실험을 하기 위해 하는 것이 아니라,
우리가 기존에 몰랐던 사실을 알기 위해
즉, 우리의 의사결정에 자신감을 얻기 위해 진행하는 것이라는 것.
그래서 의사결정에 필요한 만큼의 정보 (just enough information)만 확보하면 된다는 것이다.
실험의 예시
- A / B 테스트: 온보딩(어느 쪽이 더 활성화되는지), 가격 변경 (구매전환율)
- Smoke test: 랜딩페이지 - 이 제품에 관심있는 사람들은 이메일 주소를 입력해주세요. (관심 정도 파악)
- Mechanlcal Turk, Wizard of Oz 프로토타입: 기술 자원의 투입이 많이 필요한 경우, 미리 수작업으로 서비스를 제공해서 수요를 알아보는 것 (ex. 구글이 인수한 Aardvark: 초반에는 머신러닝말고 '휴먼러닝')
[가설: 실험의 중심에 있는 것 ]
* 가설(hypothesis) vs. 가정(assumption)
가설은 반증 가능한 구체적인 진술.
가정은 고객, 시장등에 대해 가지고 있는 추측.
[가정을 검증하기 위해 가설로 변환하기]
= '위험성'이 높은 가정 (즉, 거짓이라면 사업이 실패할 가능성이 높은 가정) -> 가설 설정 -> 실험 설계
= 암묵적인 믿음인 가정을, 반증 가능하고 구체적인 형태의 가설로 만드는 것.
결론적으로, 우리 머릿속에 아이디어가 먹힐 지 안 먹힐지, '이대로 진행해도 괜찮은가'의 근거를 실험을 통해 얻는다.
아이디어에 대한 수많은 가정 중에서도, 핵심적으로 이 가정이 틀리면 내 아이디어는 위험하다! 싶은 것들을 위주로
구체적인 가설을 세워야 한다. 세워진 가설의 종류에 따라 여러가지 실험 방법을 설정할 수 있으며,
그 실험을 통해 우리는 '이 아이디어를 진행시켜도 되는지' - 의사결정을 자신감있게 밀어붙일 수 있게 될 것이다.
이 아티클을 통해 조금은 헷갈렸던 가설 설정과 실험에 대한 개념을 다시 명확하게 이해할 수 있었다.
앞으로 프로젝트를 진행하면서 특히 '실험에 대한 오해들'에서 언급된 오류들을 범하지 않도록 노력해야겠다.
'Article > 기획' 카테고리의 다른 글
| [아티클 리뷰] 열심히 달렸다면, 회고합시다 (220411) (0) | 2022.04.12 |
|---|