O teste A/B é um dos principais métodos para otimizar taxas de conversão. Com duas ou mais variáveis, é possível identificar a melhor abordagem para o seu site ou aplicativo em determinada situação.

O objetivo dos testes A/B é descobrir qual variante gera mais conversão, seja ela a imagem de um home banner, um copy, ou até a cor de um botão. Trabalhando com testes simultâneos, é possível solucionar problemas e responder perguntas específicas de maneira ágil e assertiva.

Neste artigo, iremos te mostrar como validar hipóteses rapidamente através de testes A/B simultâneos. Dessa forma, é possível produzir informações rapidamente para impulsionar ainda mais as suas estratégias de marketing e growth.

Tipos e fontes de dados

Há uma grande variedade de dados que podem indicar características e comportamentos da sua audiência. Dados demográficos, cadastrais ou comportamentais são alguns dos exemplos utilizados para levantar hipóteses para testes A/B. 

Usuários de determinada localidade são mais engajados quando encontram elementos de sua própria cultura? E usuários jovens tendem a converter mais quando o site apresenta uma determinada paleta de cores?

Para estar em dia com as informações dos seus usuários é preciso se conectar às diversas fontes de dados. Com as suas particularidades, cada uma poderá fornecer insights mais precisos sobre determinado assunto. O Google Analytics e algumas plataformas de CRM são exemplos de fontes de dados focados na audiência.

Dica: é importante tomar cuidado quando olhamos para os dados nessas ferramentas, pois podemos cair em armadilhas. Usar o máximo que você puder dos seus dados vai muito além de simplesmente coletá-los. É preciso fazer inferências e análises para entender o que eles realmente significam. Dados desatualizados ou inadequados podem te levar a formar uma imagem distorcida da sua audiência.

Criando hipóteses para testes A/B

Tudo começa com uma hipótese. Mas como começar a elaborar essa hipótese? Que perguntas fazer? São diversas as formas de iniciar esse processo.

É importante ter em mente que o objetivo do teste A/B é fornecer informações mais assertivas sobre os seus usuários. Dessa forma, olhar para os gaps nos funis de conversão e buscar corrigi-los é uma das formas de elencar hipóteses para testes A/B.

Outra maneira é se colocar no lugar dos seus usuários. Esse movimento possibilita uma visão diferenciada e mais ampla, visando melhorar a experiência da sua audiência. Navegar no seu próprio site, entrevistar usuários, pedir feedbacks e analisar dados de eventos são excelentes exercícios para criar hipóteses para testes A/B.

Como criar a estratégia e planejar a implementação

É importante pensar em alguns pontos cruciais do seu negócio para validar hipóteses rapidamente:

Metas

Entender os desafios e definir as prioridades da sua empresa é crucial na hora de definir quais experimentos serão realizados. Ao olhar para as metas do negócio, as hipóteses são levantadas com o objetivo de solucionar problemas específicos.

Métricas

Definir quais métricas você vai usar e saber diferenciá-las é muito importante. As métricas primárias são voltadas para o seu negócio e as secundárias se relacionam a um experimento específico. Ambas representam um diagnóstico do que está acontecendo em determinado momento e uma pode influenciar a outra.

Criativos

A dica aqui é sempre organizar os recursos disponíveis. Em alguns casos, muitos criativos podem estar prontos quando você definir o que vai testar, porém em outros não. Definir quanto tempo e quanto de budget será necessário para produzir os criativos é essencial para que a estratégia de testes não destoe da estratégia geral do negócio. 

Análise

É importante olhar para o resultado dos seus testes de maneira analítica, principalmente na fase de planejamento da sua empresa. Dentro das diferentes abordagens para analisar os resultados dos testes A/B, a frequentista e a Bayesiana são as mais utilizadas no mercado. 

A análise frequentista foi amplamente utilizada na ciência no século XX, mas apresenta algumas limitações quando o foco são testes A/B, como por exemplo a necessidade de definir o tempo de duração da experimentação previamente e a impossibilidade de conferir resultados antes do período previsto. Já a abordagem Bayesiana, utilizada pela plataforma de CRO Croct, apresenta métricas mais detalhadas, melhor significância estatística e maior velocidade para análise dos resultados, sendo a mais utilizada por quem entende do assunto.

Estruturando o teste A/B

Definir uma parcela da sua audiência é o primeiro passo para a estruturação do teste A/B. Aplicar experimentações em todo o tráfego do seu site pode comprometer seus resultados, pois muitas vezes levantamos a hipótese de que alguma mudança no criativo pode causar um ótimo impacto, mas nunca podemos ter certeza disso antes de testar.

Vamos supor que você selecione 25% do seu tráfego para participar do teste, de forma aleatória. Nesse segmento, o grupo de controle é caracterizado pelos que não observam nenhuma variação, enquanto o grupo A representa os que verão uma determinada variação do conteúdo a ser testado, e o grupo B representa os que verão a segunda variação desse mesmo conteúdo. Quando um usuário desse segmento entrar no site, ele será aleatoriamente incluído em um desses dois grupos.

Existem alguns tipos de teste A/B, e para cada um deles a divisão inicial da audiência é realizada de uma maneira. Os diferentes tipos são:

Testes A/B comuns

A parcela do tráfego selecionada é dividia aleatoriamente, sem distinção de segmentos. Nesse modelo é validada apenas uma hipótese por vez.

Testes A/B segmentados

O teste é realizado para um determinado segmento do tráfego do site. Por exemplo, as vezes percebemos a necessidade de validar uma hipótese apenas em relação a usuários que residem na cidade de São Paulo. Selecionamos então só esse segmento, e dentro dele alocamos o grupo de controle e as variantes. O resultado irá determinar a taxa de conversão para a variação que esse segmento estiver acessando.

Testes A/B paralelos

Nesse caso, dois testes ocorrem ao mesmo tempo com hipóteses diferentes. Os testes paralelos ou simultâneos permitem que a validação das hipóteses seja obtida rapidamente. Por exemplo: um dos testes A/B será direcionado para moradores da cidade do Rio de Janeiro, enquanto outro, simultaneamente, será direcionado para usuários retornantes.

Dica: Podem ocorrer casos em que os testes simultâneos abarquem usuários que se encaixem nas duas hipóteses. Nessa situação é importante criar uma regra que determine para onde esse usuário será alocado, evitando assim, que ele participe de dois testes e o resultado seja distorcido.

Projetando o impacto dos testes no negócio

A projeção dos resultados permite demonstrar a importância dos testes A/B para a empresa, pois torna possível quantificar quais ganhos a longo prazo serão observados caso as variantes vencedoras realmente sejam implementadas para toda a audiência.

É importante levar em conta que a projeção pode variar de teste para teste. Dessa forma, entender os resultados e avaliar as informações obtidas deve ser algo feito com cautela. Por exemplo:

Em um teste A/B comum, se a variante A gerou um aumento de 5% na taxa de conversão, isso indica um aumento de 5% no resultado do negócio como um todo. Entretanto, em resultados de testes A/B segmentados, a leitura não pode ser a mesma: um aumento de 5% na taxa de conversão de um segmento não significa necessariamente um aumento de 5% na taxa de conversão de toda a audiência. 

O loop de descobertas e melhorias contínuas

Mesmo quando um teste A/B chega ao final, o resultado nunca se trata apenas da validação de uma única hipótese. Quando a cultura de testes passa a ser parte da estratégia da empresa, é possível que o time entre em um loop. Muitas vezes, o resultado de um teste faz com que se descubram novas informações sobre a sua audiência.

Consequentemente, isso fará com que você levante novas hipóteses para novos testes A/B. Assim, novas descobertas trarão outras novas descobertas, gerando melhorias contínuas, em um site cada vez mais otimizado.

Concluíndo

Realizar testes A/B simultâneos otimiza o tempo de validação das hipóteses relacionadas ao seu negócio. Com os resultados, é possível se aproximar ainda mais da sua audiência ao mesmo tempo em que você aumenta as suas taxas de conversão.

O conhecimento dos desejos e comportamentos dos seus usuários faz com que sejam construídas pontes de identificação cada vez mais fortes. Clientes mais felizes e seguros tendem a colaborar cada vez mais no fornecimento de feedbacks, fazendo com que os seus dados se mantenham atualizados e corretos.

Empresas com plataformas especializadas no aprimoramento da taxa de conversão, como a Croct, oferecem mecanismos de análise cada vez mais completos e robustos. Atualmente, conhecer o seu público e investir no relacionamento com a sua audiência é crucial para qualquer negócio, ainda mais no meio digital. 

Restou alguma dúvida?

Se você ainda tem perguntas sobre testes A/B ou quer sugerir algum outro tópico para o nosso blog, adoraríamos ouvir de você!