번역문 : isao76.egloos.com/2546817
일단 원문이나 번역문을 먼저 읽고서 아래 글을 봐주심 감사.
.
인상적인 강연이라고 말할 수 있겠으나.. 몇 가지 여기서 얘기하는 과학적 요소가 잘못되었을 수 있음을 먼저 지적하지 않을 수가 없다.
.
가장 큰 문제는 AB테스트를 하는데 있어서 모집단의 일정함을 얘기해야만 한다.
.
일반적으로 소프트런칭 상태라고 일컷는 것은 게임을 오픈해 놓고. 아무런 마케팅도 하지 않음을 의미한다.
.
런칭 좀 해본 분들은 알겠지만 2일 쯤 지나면 유저들이 슬슬 들어오고.
10일쯤 지나면 거의 안들어온다.
이유는 앱의 스토어 노출 알고리즘 때문에 그렇다.
.
암튼. 이렇게 남거나 조금씩 들어오는 유저를 가지고서 테스트를 해보면 우리는 보통 이렇게 결론을 내린다. 게임이 좋아졌다라고 판단하기 쉽다는 것이다.
.
물론 좋아진다. 하지만. 이 잔존율 수치는 커다란 오류를 보유하게 된다.
이미 게임이 맘에 들어서 남은 사람과 그렇지 못한 사람을 가르지 못하는 것이다.
.
업데이트는 근본적으로 유저를 붙드는 수단이다. 그게 좋은 쪽이든. 나쁜쪽이든 상관없다.
.
무언가의 변화 그 자체는 유저에게 새로움이라는 의미로 이해될 수 밖에 없기 때문이다. 그 때 발생하는 것이 불편함이든 편함이든. 유저에겐 그저 새로워진 것일 따름이다. 남은 것은 적응할 것인가. 불평하고 떠날 것인가에 불과하다.
.
그런데 대게 자의적으로 게임을 찾아 들어온 유저가 게임을 쉽게 버릴 것이라고 생각한다면.. 그건 큰 오산이다.
.
자신들이 일단 어떤 이유에서건 간에 첫날 게임을 버리지 않고 남기로 결정한 유저라면 적어도 몇일 동안 그들은 뭐 나아지려나? 뭔가 바뀌려나? 운영진과 소통은 되나? 등등의 갖은 여러가지 이유로 게임을 쉽게 버리지 않는다. 그리고 이들은 첫날 잔존율 개선을 위해 고군분투하는 기획자와 개발진들에게 심각한 노이즈로 남아 앞으로의 개선과정에 많은 허들을 안겨준다.
.
Bears vs Art.가 스스로 표현한대로 망한 게임인데 이렇게 잔존율을 개선하여 다시 마케팅을 진행하고 얼마나 성공적인 결과로 최종적으로 이어졌는지는 앱애니 데이터를 통해 확인해 보면 지표 개선이 그리 크지 않았음을 오히려 명확하게 알 수 있다.
.
 |
| IOS 다운로드 순위 |
 |
| IOS매출순위 |
.
아쉽지만. 본 사례는 그리 좋은 개선 사례라고 얘기하기 어렵다.
