[코드잇 스프린트] Weekly Paper 5 - Amplitude에서 리텐션 분석을 한다면?

이 글은 코드잇 스프린트 데이터 분석가 과정 위클리 페이퍼 작성 기록입니다.

Q1.

Amplitude에서 리텐션 분석을 진행했더니 신규 가입자의 Day 7 리텐션이 20%로 나왔습니다. 이 수치를 어떻게 해석하겠나요? 리텐션을 개선하기 위해 다음으로 어떤 분석을 추가로 해보겠나요?

신규 가입자의 Day 7 리텐션이 20%로 나왔다는 것의 해석

Amplitude에서 신규 가입자의 Day 7 리텐션이 20%로 나왔다는 것은, 가입한 사용자 100명 중 약 20명만이 가입 후 7일째에도 다시 돌아와 특정 행동을 했다는 뜻으로 해석할 수 있다. 단순하게 말하면 초기 유입은 있었지만, 그중 상당수는 일주일 안에 빠져나갔다는 의미이다. 다만 이 숫자를 볼 때는 20%가 높다, 낮다를 단독으로 바로 판단하기보다 몇 가지를 같이 생각해야 한다.

• 리텐션의 기준 이벤트가 무엇인지
  • 단순 앱 실행인지
  • 로그인인지
  • 핵심 기능 사용인지
  • 구매나 콘텐츠 소비 같은 더 중요한 행동인지
  에 따라 같은 20%라도 의미가 달라질 수 있다.
• 서비스 성격
  • 매일 써야 하는 서비스인지
  • 필요할 때만 쓰는 서비스인지
  에 따라 기대 리텐션 수준이 다르다.
• 비교 기준의 존재
  • 이전 주/이전 월 신규 가입자보다 나아졌는지
  • 유입 채널별로 차이가 있는지
  • 기기, OS, 캠페인별 차이가 있는지

도 같이 봐야 한다.

 

내가 이 수치를 해석할 때는, 일단신규 유저가 첫 일주일 안에 서비스에 정착하지 못하고 있을 가능성을 먼저 떠올릴 것 같다. 특히 Day 7은 단순 첫 방문을 넘어서, 사용자가 어느 정도 서비스를 다시 찾을 이유를 느꼈는지를 보여주는 지점이라고 생각한다. 그래서 20%라는 수치는 단순 재방문율이라기보다, 초기 경험이 충분히 매력적이었는가를 점검하게 만드는 숫자라고 느껴진다.

 

또 리텐션을 볼 때는 클래식 리텐션 / 범위 리텐션 / 롤링 리텐션을 구분하는 것도 중요하다고 생각한다.

• 클래식 리텐션
  • 정확히 Day 7에 돌아왔는지를 본다.
  • 가장 엄격한 기준이라 진짜 그날 다시 왔는가를 보는 데 적합하다.
• 범위 리텐션
  • 예를 들어 Day 7~Day 13 사이처럼 특정 구간 안에 다시 왔는지를 본다.
  • 사용 주기가 꼭 매일은 아닌 서비스라면 더 현실적인 해석이 가능하다.
• 롤링 리텐션
  • Day 7 이후 한 번이라도 돌아왔는지를 본다.
  • 유저가 완전히 떠났는지, 아니면 늦게라도 다시 돌아오는지를 보는 데 의미가 있다.

그래서 만약 내가 본 20%가 클래식 리텐션 기준이라면, 꽤 타이트한 기준에서 본 것이기 때문에 ‘정확히 7일째 다시 온 유저는 적다’는 의미로 해석할 수 있다. 반대로 롤링 리텐션 기준인데도 20%라면, 그건 더 강하게 이탈을 의심해볼 수 있다고 생각한다. 즉, 같은 20%라도 어떤 리텐션 정의로 봤는지에 따라 해석 강도가 달라진다는 것. 정리하면, 나는 이 수치를 다음처럼 해석할 것 같다.

• 신규 가입자 중 상당수가 첫 일주일 안에 이탈하고 있다
• 유저가 서비스의 핵심 가치를 빠르게 느끼지 못했을 가능성이 있다
• 다만 이 수치 하나만으로 판단하지 않고,리텐션 계산 방식 / 기준 이벤트 / 서비스 특성 / 비교 집단을 함께 봐야 한다

리텐션 개선을 위해 다음으로 어떤 분석을 진행하겠는가

내가 다음으로 할 분석은, 단순히 ‘리텐션이 낮다’에서 멈추지 않고 왜 7일까지 남지 못하는지 원인을 좁혀보는 분석이다. Amplitude를 쓴다는 가정이면, 리텐션 차트를 본 다음 바로 퍼널, 세그먼트 비교, 경로, 이벤트 분해 쪽으로 이어서 볼 것 같다.

1. Day 7에 남은 유저와 떠난 유저를 나눠서 비교

가장 먼저 해보고 싶은 건 리텐션된 유저와 이탈한 유저의 행동 차이 비교이다.

예를 들어

• Day 7까지 남은 유저는 가입 후 어떤 이벤트를 더 많이 했는지
• 반대로 떠난 유저는 어떤 단계까지만 하고 멈췄는지
• 가입 첫날 또는 첫 3일 안에 특정 행동 여부가 리텐션과 연결되는지

이걸 보면 리텐션을 만드는 핵심 행동을 찾을 수 있을 것 같다. 만약 쇼핑몰이라면

• 회원가입만 하고 끝난 유저
• 상품 조회까지만 한 유저
• 장바구니까지 간 유저
• 첫 구매를 한 유저

이런 식으로 나눠봤을 때, 어떤 행동을 한 유저가 Day 7에 더 잘 남는지 확인할 수 있다. Amplitude에서는 이런 식으로 세그먼트별 비교를 하기 좋기 때문에 단순 평균 리텐션보다 더 실질적인 인사이트가 나올 것 같다.

2. 리텐션 전에 먼저 초기 퍼널이 무너지는지 보기

리텐션 문제라고 해서 꼭 리텐션 차트만 더 보는 건 아니라고 생각한다. 실제로는 초기 온보딩이나 핵심 기능 진입 퍼널이 무너져서, 그 결과로 리텐션이 낮게 나올 수도 있기 때문이다. 그래서 가입 직후 핵심 행동까지 가는 퍼널도 같이 볼 것 같다.

예를 들면

• 회원가입
• 관심 상품 조회
• 찜/장바구니 추가
• 첫 구매 또는 핵심 기능 사용

이 퍼널을 보면, 애초에 유저가 서비스의 핵심 가치를 경험하기도 전에 빠지는지 알 수 있다. 즉, Day 7 리텐션이 낮은 게 단순 ‘재방문 의지 부족’의 문제가 아니라, 처음부터 서비스 경험이 충분히 형성되지 않았기 때문일 수도 있다는 것이다.

3. 경로 분석 → 남는 유저와 떠나는 유저 흐름 차이 보기

Amplitude를 쓴다면 Pathfinder 같은 경로 분석도 해보고 싶다. 이건 사용자가 특정 이벤트 이후 어떤 흐름으로 움직였는지 보기에 좋아서, 리텐션된 유저는 어떤 경로를 거쳤고, 이탈한 유저는 어디서 끊겼는지를 보기 좋다고 생각한다.

예를 들면

• 남은 유저는 가입 후 검색 → 상세 조회 → 찜 → 재방문 흐름을 보이는지
• 떠난 유저는 가입 후 홈만 보고 종료하는지
• 특정 화면이나 특정 이벤트 이후 급격한 이탈이 생기는지

이런 걸 보면 ‘유저가 남게 만드는 경로’와 ‘유저가 사라지는 경로’를 비교할 수 있다. 나는 리텐션 개선에서 이 부분이 꽤 중요하다고 생각하는데, 단순히 어떤 이벤트를 했느냐보다 어떤 순서와 맥락으로 행동했는지도 중요하기 때문이다.

4. 사용자 특성별로 리텐션 쪼개서 보기

평균 Day 7 리텐션 20%만 보면 다 똑같이 낮은 것처럼 보일 수 있지만, 실제로는 특정 집단만 유독 낮을 수도 있다. 그래서 다음으로는 세그먼트를 쪼개서 리텐션을 다시 확인할 것 같다.

예를 들면

• 광고 유입 vs 자연 유입
• 안드로이드 vs iOS
• 신규 가입 경로별
• 첫 구매 유저 vs 비구매 유저
• 특정 기능 사용 유저 vs 미사용 유저

이렇게 나눠보면 ‘전체 평균 20%’ 뒤에 숨어 있는 차이를 발견할 수 있다. 예를 들어 자연 유입 유저는 30%인데 광고 유입 유저는 10%라면, 리텐션 문제라기보다 유입 품질 문제일 수도 있다. 이 경우엔 앱 내부 개선만이 아니라 마케팅 타겟팅도 같이 손봐야 한다.