O primeiro número que saiu da nossa roleta diária de recompensas parecia ótimo, e eu não confiei nele. Quem girava a roleta depositava muito mais do que quem não girava. Qualquer recurso que premia quem aparece vai mostrar essa diferença, porque quem aparece já era o melhor jogador.
A armadilha: o grupo se escolheu sozinho
Quem entra todo dia encontra o giro diário. Quem abre o aplicativo uma vez por mês nunca encontra. Se você compara os dois depois do lançamento, está medindo, na maior parte, quem eles eram antes.
Um painel que compara “quem usa o recurso” com “quem não usa” mostra um ganho grande para quase qualquer coisa. Se você decide o orçamento com base nele, o orçamento fica apoiado num número inflado.
Passo um: um teste de verdade, enquanto dá
A resposta mais limpa é um teste controlado. Lançamos a roleta em ondas, e na terceira onda 30% dos jogadores tinham a roleta e outros 30% não, divididos pelos últimos dígitos do identificador do jogador, com as mesmas regras e na mesma época. Depois de 38 dias, o grupo com a roleta tinha cerca de 12% mais volume apostado por jogador. Foi um bom primeiro sinal, e bastou para levar a roleta a todos.
Mas, quando todo mundo tem o recurso, não sobra grupo de controle. E um teste com dois grupos não diz quanto o recurso rende depois que vira parte do produto.
Passo dois: achar um gêmeo para cada jogador
Depois do lançamento completo, o time de dados procurou um gêmeo para cada jogador que usou a roleta: alguém no mesmo segmento de valor, com volume apostado, depósitos, dias ativos e tempo de cadastro parecidos. Depois, verificaram se os dois grupos de fato se pareciam, e acharam um gêmeo para cerca de 90% dos jogadores.
Então compararam a mudança, não o nível. Quanto cada grupo mudou entre as 14 semanas antes do lançamento e as 14 semanas depois? O crescimento da época e das campanhas de fim de ano aconteceu com os dois, então se anula. O que sobra é do recurso.
Passo três: tentar derrubar o próprio resultado
Duas checagens foram as mais importantes. Primeiro, os dois grupos precisavam andar juntos antes do lançamento. Andaram. Segundo, um placebo: inventar uma data de lançamento num período tranquilo e rodar a mesma comparação. Um método justo não deve achar nada, e não achou.
Eu gosto do placebo porque ele obriga a procurar o jeito como o método pode te enganar, e não só o jeito como pode te agradar.
O que apareceu, e o que não deu para provar
Contra seus gêmeos, quem usou a roleta teve 40% mais volume apostado, 39% mais depósitos e esteve ativo em 55% mais dos dias. O efeito crescia com o uso: era invisível abaixo de cinco giros e aumentava a cada faixa acima disso.
O retorno sobre o custo foi uma faixa, não um número. Dependendo dos custos que entravam na conta, foi de cerca de 1,7 vez a 5,7 vezes. Todos os casos ficaram acima de 1, e a distância entre eles era real. Eu não citaria só o melhor.
Também havia limites que eu diria em voz alta. O estudo cobriu cerca de um terço dos jogadores que usaram a roleta, os que já existiam antes do lançamento. Não foi um teste sorteado, então algo que não medimos ainda poderia explicar parte do resultado. E outras coisas aconteciam nas mesmas semanas.
O que eu faria no próximo
- Manter um grupo que nunca recebe o recurso, ou um pequeno teste permanente, mesmo depois do lançamento completo. É o jeito mais barato de responder à próxima pergunta.
- Decidir como vai medir antes de lançar, e não depois do primeiro número bom.
- Mostrar faixas e limites ao lado do número de destaque. Um número que você consegue defender vale mais do que um maior que você não consegue.
O método completo, com os gráficos, está na parte 2 do case da roleta de recompensas.
