Esta é a segunda parte do case da roleta de recompensas diária da H2Bet. O case curto diz que a roleta foi lançada aos poucos e medida contra um grupo de controle justo. Aqui eu conto como, passo a passo, inclusive as partes que foram menos limpas do que os números de manchete sugerem.
Lançar em ondas
Nunca lancei a roleta para todo mundo de uma vez. Uma funcionalidade que mexe com dinheiro de bônus, com a fila do suporte e com a plataforma de recompensas pode quebrar em três lugares ao mesmo tempo. Por isso a roleta saiu em ondas, e entre uma onda e outra alguém precisava olhar os números e dizer siga ou pare.
A primeira onda foi de 5% dos jogadores, em 25 de julho. No dia seguinte passou para 10%. Em 11 de agosto foi a 30%, e a partir daquele dia mantive de propósito outros 30% dos jogadores sem a roleta, como grupo de controle. O resto ficou esperando. Por volta de meados de setembro, depois de lido o teste, a roleta foi a 100% dos jogadores. Contando a partir do primeiro documento de fundamentos, em abril, foram cerca de cinco meses entre o começo do trabalho e o lançamento para todos.
As ondas de lançamento. As duas primeiras ficaram a um dia de distância; a terceira serviu também de teste A/B.
Os jogadores foram separados pelo final do número de cadastro. Todo jogador tem um número de identificação. Escolher os grupos pelos últimos dígitos dele é simples, é igual todos os dias e ninguém cai em dois grupos. O mesmo mecanismo me deixa dizer, sem dúvida, quem estava no grupo com a roleta e quem estava no grupo sem.
A decisão de seguir ou parar entre as ondas se apoiava em quatro verificações. O engajamento precisava estar positivo contra o controle. O desempenho técnico não podia piorar. A parcela de jogadores que resgatava o giro tinha de ficar acima de um mínimo. E eu lia o retorno qualitativo, do suporte e dos jogadores. No documento de processo que escrevi depois desse lançamento, o padrão virou três ondas de cerca de 15%, 35% e 100% da base, cada uma de duas a três semanas, com uma reunião mensal com os patrocinadores para decidir a onda seguinte. O lançamento real da roleta foi mais rápido no começo: as duas primeiras ondas ficaram a um dia uma da outra.
Ondas limitam o estrago, mas não pegam tudo. A sobrecarga da plataforma de recompensas veio no lançamento para todos, e o bônus que acabou e os chamados no suporte vieram conforme os grupos cresciam, tudo isso descrito no case principal. Cada um teria sido pior sem as ondas anteriores, e o primeiro ainda passou. É por isso que a decisão de seguir também pergunta pelo desempenho técnico, e que depois passamos a avisar a plataforma antes de lançamentos grandes.
O primeiro teste, e por que não confiei nele
A onda de 30% me deu um teste A/B de verdade. Um grupo de 30% tinha a roleta, outro de 30% não tinha, com as mesmas regras, a mesma época e o mesmo marketing. Li o resultado entre 12 de agosto e 18 de setembro, 38 dias. Como a divisão foi pelo final do cadastro, os dois grupos eram comparáveis desde o início.
A leitura inicial foi positiva. O turnover por jogador era maior no grupo com a roleta, cerca de 12%. O ticket médio de depósito também subiu, cerca de 18% (17,7% no relatório). A Parte 3 usa os mesmos dois números. Foi o bastante para levar a roleta a todos. Um teste limpo diz que a roleta funciona para quem recebeu a oferta. Não diz quanto ela rende depois de virar parte do produto.
Depois do lançamento para todos, a única comparação que sobrou foi entre jogadores. Sem grupo de controle, a pergunta natural passou a ser: quanto mais deposita quem gira do que quem não gira? A resposta é sempre “bem mais”, e sempre engana.
Quem gira já era diferente antes de a roleta existir. O jogador que entra todo dia é o que encontra o giro diário. O que abre o app uma vez por mês nunca encontra. Se comparo os dois depois do lançamento, estou medindo principalmente quem eles já eram. Chamo isso de viés de seleção: o grupo se escolheu sozinho. Um painel que compara quem gira com quem não gira vai mostrar um grande ganho para qualquer funcionalidade que premia quem já aparece.
Eu não queria divulgar um número que não conseguisse defender. A roleta custa dinheiro de verdade todos os dias. Se o ganho estivesse inflado, as decisões de orçamento seguintes se apoiariam nele. Por isso tratei o resultado do A/B como um primeiro sinal, nunca como o número final.
Como é uma comparação justa
A resposta do time de dados foi achar um gêmeo para cada jogador da roleta. Para cada jogador que usou a roleta, procuraram um jogador parecido que não usou. Parecido queria dizer: no mesmo segmento de valor antes da roleta, com turnover semelhante nas últimas quatro semanas, quantidade de depósitos parecida, dias ativos parecidos e tempo de cadastro parecido. Os pares foram montados de forma automática, e depois o time conferiu se os dois grupos realmente se pareciam nessas características. A técnica se chama pareamento por escore de propensão, e é a única vez que vou citá-la. Acharam gêmeo para cerca de 90% dos jogadores da roleta, o que deu mais de 116 mil pares.
Depois compararam a mudança, e não o nível. Mesmo um bom gêmeo não tem exatamente o mesmo nível do jogador da roleta. Então a pergunta virou: quanto cada grupo mudou entre as 14 semanas antes do lançamento para todos e as 14 semanas depois? O efeito da roleta é a diferença entre as duas mudanças. Se os dois grupos cresceram com a época do ano e as campanhas de fim de ano, esse crescimento se cancela. O que sobra é da roleta. A técnica se chama diferença em diferenças.
Por que o nível não é o efeito: parte da diferença já existia antes da roleta. Valores ilustrativos.
O formato da comparação justa: as duas linhas andam juntas antes, e a diferença se abre depois.
Dois testes existiam para pegar uma armadilha do método. Esse tipo de comparação depende de uma suposição: se a roleta nunca tivesse existido, os dois grupos teriam continuado andando juntos. Ninguém consegue ver esse mundo. Então o time fez duas verificações. A primeira olhou as semanas antes do lançamento e perguntou se os dois grupos realmente seguiam a mesma tendência. Seguiam, e o teste estatístico não chegou perto de apontar diferença (valor acima de 0,93 nas três métricas). A segunda foi um teste placebo: inventaram uma data de lançamento, em maio, num período em que nada tinha acontecido, e rodaram a mesma comparação. Um método justo não deve achar nada, e não achou. Os efeitos falsos foram -1,3% em stickiness, -3,5% em turnover e +1,0% em depósitos, nenhum diferente de zero.
Minha parte foi a pergunta, e a do time de dados foi a resposta. Eu decidi o que o estudo precisava responder e li o resultado ao lado do que eu via no produto. O time de dados rodou, documentou e guardou o caderno de análise e a lista de jogadores pareados, para que outra pessoa possa repetir.
O que o estudo encontrou
A roleta mexeu nos três números que importam, e bastante. Os jogadores que usaram a roleta tiveram 40% mais turnover e 39% mais depósitos do que seus gêmeos pareados, e ficaram ativos em uma parcela muito maior dos dias da semana: stickiness 55% maior, o que dá 8,3 pontos percentuais. Stickiness aqui é a parcela de dias da semana em que o jogador está ativo, contada entre quem depositou em pelo menos dois dias dos últimos 28. As faixas são estreitas o bastante para descartar um efeito pequeno: a faixa de 95% do turnover vai de +32% a +47%, e a dos depósitos, de +34% a +45%.
Os três resultados de manchete do estudo, todos números reais.
O retorno sobre o custo é uma faixa, e prefiro dizê-lo como faixa. O estudo estima a receita líquida que a roleta acrescentou e divide pelo que ela custou. A resposta depende de quais custos entram no divisor, e há mais de uma escolha honesta. Contando só os prêmios da própria roleta, o retorno ficou entre 5,6x e 5,7x, conforme eu use os custos do grupo pareado ou os custos globais rateados sobre ele. Somando parte do custo do Cofre, uma recompensa que entrou no ar na Black Friday dentro do mesmo período, caiu para algo entre 3,9x e 5,0x. Somando o Cofre inteiro, ficou entre 1,7x e 3,6x.
| O que conta como custo | Custos do grupo pareado | Custos globais, rateados |
|---|---|---|
| Só a roleta | 5,6x | 5,7x |
| A roleta mais parte do Cofre | 5,0x | 3,9x |
| A roleta mais o Cofre inteiro | 3,6x | 1,7x |
Toda linha fica acima de 1, mas a distância entre 1,7x e 5,7x é real. Eu não citaria 5,6x sozinho, e o case curto dá a faixa por isso. A frase honesta é que a roleta se pagou em todos os cenários que testamos, e o quanto depende de o Cofre ser cobrado ou não dela.
Mais giros significaram mais efeito, e o efeito só apareceu depois dos primeiros. O time separou os jogadores pelo número de vezes que interagiram com a roleta. Quem interagiu de uma a quatro vezes parecia igual a quem não interagiu: nenhum ganho visível. O turnover semanal ficou positivo na faixa de 5 a 9 interações e continuou crescendo a cada faixa acima, até os jogadores com 100 interações ou mais. É o argumento mais forte de que a causa é a própria roleta, porque uma diferença escondida entre os grupos dificilmente cresceria de forma tão ordenada com o uso.
Dose e resposta: o efeito fica positivo por volta de 5 a 9 interações. Valores reescalados.
A lição prática é ajudar o jogador a passar das cinco primeiras. A roleta faz pouco por quem a testa duas vezes. A recomendação do estudo, com a qual concordo, é desenhar incentivos que levem o jogador de uma ou duas interações até o ponto de inflexão: lembretes, progressão, algo que torne natural o sexto giro.
Quem usou a roleta também ficou mais nos segmentos de alto valor. O time acompanhou como os jogadores se moveram entre os segmentos de valor, de antes do lançamento até o fim de dezembro.
| Segmento de partida e onde terminaram | Quem usou a roleta | Gêmeos pareados |
|---|---|---|
| Campeões que continuaram Campeões | 48,4% | 38,7% |
| Potenciais Campeões que viraram Campeões | 28,7% | 12,1% |
| Jogadores de alto valor em risco que viraram Campeões | 25,5% | 7,1% |
Os gêmeos escorregaram mais para os segmentos de risco e de inatividade. É um resultado sobre retenção, e não só sobre volume.
O que o estudo pôde e não pôde provar
Provou que o efeito não é um artefato de quem escolheu girar. Os pares estavam equilibrados, as tendências eram paralelas antes e o placebo não achou nada. Juntos, esses pontos tornam difícil explicar +40% em turnover por outra coisa que não a roleta, para o grupo que o estudo olhou.
Cobre cerca de um terço de quem usou a roleta. O estudo só incluiu jogadores que já existiam antes do lançamento e estiveram ativos antes e depois. Eles eram 37,9% de todos que interagiram com a roleta, e concentravam 53,9% do turnover e 42,4% dos custos da roleta. Os jogadores novos, 31,4% da base, não estão no estudo. O efeito neles pode ser parecido, e pode não ser. Ninguém sabe ainda.
Não é um teste sorteado. O A/B separou os jogadores pelo final do cadastro, o que funciona como um sorteio. O estudo não tem sorteio: os jogadores escolheram girar, e o pareamento só equilibra o que foi medido. Se algo que não medimos faz o jogador girar mais e crescer mais, o estudo não enxerga. O placebo e as tendências paralelas tornam isso improvável, e não o excluem. A própria recomendação do time de dados foi um teste A/B controlado para os jogadores novos, para ter uma resposta direta.
Conta como “tratado” quem girou uma vez só. É uma definição generosa, e por isso a análise por dose importa: a média mistura quem mal tentou com quem vive na roleta.
Os números financeiros dependem de suposições. A receita líquida vem da receita bruta teórica, que usa um fator de margem tirado da plataforma inteira no período e digitado no projeto como constante. Os custos também dependem de quais bônus entram na conta. Os dois motivos explicam por que apresento o retorno como faixa.
Os dois resultados não se comparam diretamente. O A/B mostrou cerca de 12% mais turnover para o grupo inteiro que recebeu a oferta. O estudo mostra 40% para quem usou. O primeiro inclui jogadores que nunca abriram a roleta, então tem de ser menor. Eu não usaria um número para prometer o outro.
Outras coisas aconteciam nas mesmas semanas. A regra de níveis passou a usar turnover em outubro e o Cofre entrou no ar em novembro. Os gêmeos viveram o mesmo calendário, então boa parte disso se cancela, mas eu não diria que o estudo isola a roleta de tudo o mais que o produto fez naquele trimestre.
O que planejei em seguida e não cheguei a medir
A pergunta seguinte era quanto o bônus deveria ser. Àquela altura o orçamento da roleta era uma porcentagem da receita bruta de cada jogador para a casa, o que chamávamos de rakeback: 10% para os níveis mais baixos e 8% para os mais altos. Já se pagava cerca de metade do que se pagou no primeiro A/B. Não sabíamos se esse corte tinha mudado o comportamento, e não sabíamos onde o dinheiro a mais deixava de compensar. O estudo provou que a roleta funciona. Não conseguia dizer se o valor estava certo.
Então, em dezembro de 2025, escrevi o desenho de um teste de elasticidade do bônus. Elasticidade aqui quer dizer: se o bônus muda um tanto, quanto o comportamento muda? O teste duraria 30 dias. Nos níveis mais baixos, 10% dos jogadores ficariam de fora como grupo de referência, 30% receberiam metade do bônus atual, 30% manteriam o atual e 30% receberiam 50% a mais. Nos jogadores de alto valor, o grupo era pequeno demais para quatro braços, então a divisão era em dois: 4% contra 12%. A separação seria de novo pelo último dígito do cadastro. O custo foi desenhado para se anular, já que os grupos com mais e com menos bônus se compensavam.
As medidas principais eram stickiness e turnover por jogador, mais quanto se depositava para cada unidade de bônus dada. Defini um efeito mínimo que queríamos detectar, 5%, e com o tamanho de cada nível isso era viável em todos, menos no grupo de alto valor. Ali o menor efeito detectável era de cerca de 22%, então só uma diferença grande apareceria. Deixei esse limite por escrito. Escrevi também o freio de emergência: churn acima de 10%, queda de mais de 20% na estimativa de receita ou reclamações no suporte, principalmente de jogadores de alto valor, interromperiam o teste.
Não medi isso antes de sair. O desenho estava pronto e foi para as pessoas que precisavam aprovar. Não encontrei nenhum resultado no material que guardei, e não vi o teste rodar. Tudo o que eu dissesse sobre o formato da curva do bônus seria palpite, então não vou fazer um. O que posso dizer é a pergunta que queríamos responder: existe um ponto depois do qual mais um real de bônus deixa de trazer mais de um real?
O que eu faria diferente é pedir esse teste mais cedo. O primeiro A/B teve dois grupos de 30% e durou 38 dias. Depois dele, reduzimos o bônus e ninguém media o efeito da redução. Um grupo de referência que nunca recebe o bônus, ou um teste permanente de alguns pontos para cima e para baixo, teria respondido a esta pergunta enquanto o primeiro A/B ainda estava fresco.