Teste A/B de assunto de e-mail no Gmail em lista pequena

Dá para fazer teste A/B de assunto de e-mail com uma lista pequena, desde que você aceite o que números pequenos conseguem e não conseguem dizer. O método é simples: divida os destinatários ao acaso em dois grupos, envie o mesmo e-mail com dois assuntos diferentes no mesmo horário e compare quantas pessoas de cada grupo abriram. A parte difícil é o último passo. Com 25 pessoas por grupo, uma única abertura a mais muda a taxa de abertura em quatro pontos percentuais, então a maioria dos testes isolados termina empatada. A solução é testar diferenças maiores, repetir o teste ao longo de vários envios e manter um registro, em vez de confiar em um resultado só.

Este guia cobre o ciclo completo: quais padrões de assunto valem a pena testar, como montar uma divisão justa a partir do Gmail (à mão ou com mala direta pelo Google Planilhas), como medir aberturas e como decidir se a diferença que você viu é real ou só ruído.

Por que o teste A/B de assunto de e-mail em lista pequena é diferente

Grandes remetentes testam assuntos com dezenas de milhares de endereços. Nessa escala, uma diferença de dois pontos na taxa de abertura provavelmente é real. Se você manda uma newsletter para 80 clientes, ou uma leva de prospecção fria para 40 contatos, a matemática muda por completo.

Três coisas tornam o teste em lista pequena mais difícil:

• Cada pessoa pesa muito na porcentagem. Em um grupo de 20, cada destinatário representa 5% da taxa de abertura. Se uma pessoa estava de férias naquela semana, isso importa mais do que a sua redação.
• O rastreamento de abertura não é perfeito. As aberturas costumam ser detectadas por uma imagem minúscula carregada quando a mensagem é exibida. Quem bloqueia imagens, e qualquer um que use o Apple Mail com a Proteção de Privacidade do Mail, ou não registra abertura nenhuma ou registra como aberto mesmo sem ter lido. Numa lista grande isso embaralha os números de forma uniforme. Numa lista pequena pode virar o resultado para qualquer lado.
• Sua lista não é homogênea. Dez pessoas da mesma empresa, ou uma lista que mistura clientes de relacionamento com contatos frios, faz com que uma divisão aleatória possa, por azar, jogar todos os que tendem a abrir para um único lado.

Nada disso significa que você deva deixar de testar. Significa que o objetivo do teste é aprender um padrão ao longo de semanas, não eleger um vencedor depois de um único envio.

Padrões de assunto que valem a pena testar

Escolha variantes realmente diferentes entre si. Testar "Pergunta rápida" contra "Uma pergunta rápida" desperdiça um envio. Abaixo estão padrões que tendem a produzir uma diferença perceptível em uma direção ou outra, que é justamente o que um teste pequeno precisa.

Específico versus genérico

Genérico: Atualização do projeto Específico: Minuta do contrato da obra da Vila Mariana, pronta para sua revisão

O assunto específico diz ao leitor o que tem dentro e por que diz respeito a ele. Costuma ser a maior alavanca em e-mail profissional, e a primeira coisa a testar.

Pergunta versus afirmação

Afirmação: A nota fiscal 2041 está vencida Pergunta: Pode confirmar se a nota fiscal 2041 entrou no seu pagamento desta semana?

Perguntas convidam a responder e soam menos como cobrança. Por outro lado, podem parecer invasivas quando o relacionamento ainda é frio.

Com e sem o contexto do destinatário

Simples: Proposta para o seu site Com contexto: Proposta para o novo site da Padaria do Zé

Incluir a empresa, o projeto ou o lugar que a pessoa de fato usa sinaliza que o e-mail não é um modelo genérico. Se você usa mala direta, isso é só um campo de mesclagem, então não custa nada acrescentar.

Curto versus descritivo

Curto: Quinta? Descritivo: Consegue quinta às 14h para a reunião de kick-off?

Assuntos curtos se destacam numa caixa de entrada lotada, mas não dão motivo para abrir. Assuntos descritivos competem pela relevância. Quem ganha depende muito de a pessoa já conhecer você ou não.

Com número versus sem número

Três mudanças no cronograma de outubro contra Mudanças no cronograma de outubro. Números criam a expectativa de uma leitura rápida e fácil de escanear.

O que não vale a pena testar em lista pequena: emoji, letras maiúsculas e ajustes de pontuação. O efeito, se existir, é pequeno demais para aparecer com menos de algumas centenas de destinatários.

Como montar a divisão a partir do Gmail, passo a passo

O Gmail não tem recurso de teste A/B embutido, então você monta a divisão por conta própria. As duas partes são uma divisão justa e o envio dos dois grupos no mesmo horário.

Monte a divisão no Google Planilhas

1. Coloque os destinatários em uma planilha do Google com as colunas E-mail, Nome e os campos de mesclagem que quiser (empresa, projeto).
2. Em uma coluna nova chamada Grupo, insira um número aleatório com =ALEATÓRIO() em cada linha, depois copie a coluna e use Editar > Colar especial > Somente valores para que os números parem de mudar.
3. Ordene a planilha por essa coluna. A metade de cima é o grupo A, a de baixo é o grupo B. Digite A ou B em uma coluna chamada Variante.
4. Acrescente uma coluna chamada Assunto e preencha com o assunto A nas linhas A e o assunto B nas linhas B. Agora você tem uma planilha só, que comanda um único envio.

Sortear com número, em vez de dividir por ordem alfabética ou data de cadastro, evita que pessoas da mesma empresa caiam todas no mesmo grupo por acidente.

Envie as duas variantes ao mesmo tempo

Se a lista é pequena o bastante para enviar à mão, escreva o e-mail uma vez e mande para cada pessoa individualmente (nunca em uma mensagem só com todo mundo em Cco, porque aí fica impossível ver a abertura por pessoa). Use o assunto da planilha. Mantenha os dois grupos dentro da mesma meia hora, porque o horário de envio influencia a abertura mais do que a maioria das mudanças de assunto.

Se forem e-mails demais para enviar à mão, use uma mala direta. O Gmail faz isso de graça com o Apps Script (temos um guia separado sobre mala direta com o Google Planilhas), ou com uma extensão. O Zestmail roda a mala direta a partir da URL de uma planilha do Google direto dentro do Gmail e permite agendar o envio, então o grupo A e o grupo B saem no mesmo minuto sem você ficar na frente do teclado. No plano gratuito o limite é de 20 e-mails por dia, com um pequeno rodapé "Sent with Zestmail"; para um teste com 60 pessoas você precisaria do plano Pro ou teria que dividir o envio em dias diferentes, o que enfraquece o teste. Vale saber que a extensão e o site do Zestmail estão em inglês.

Meça as aberturas por grupo

Você precisa de dados de abertura por destinatário, não de um total. As opções:

• A confirmação de leitura nativa do Gmail só existe em contas do Google Workspace e só funciona quando o sistema de e-mail do destinatário coopera e a pessoa aceita enviar a confirmação. Não serve para um teste.
• Uma extensão de rastreamento acrescenta uma imagem invisível a cada mensagem e mostra quem abriu e quando. O Zestmail faz isso dentro do Gmail, filtra as suas próprias aberturas e as aberturas comuns de robôs (scanners de segurança que "abrem" o e-mail antes da pessoa) e exibe os resultados em um painel lateral. Ele não pede permissão para ler a sua caixa de entrada. Os testes A/B de assunto com ajuda de IA também podem sugerir variantes e manter a comparação no mesmo lugar das aberturas, o que poupa o trabalho de planilha descrito acima; note que os recursos de IA enviam o rascunho ao servidor do Zestmail para gerar as sugestões.

Seja qual for a ferramenta, espere um intervalo fixo antes de contar. Quarenta e oito horas cobrem a maior parte dos e-mails profissionais. Conte as aberturas no mesmo momento para os dois grupos.

Lendo os resultados: quando a diferença é real?

É aqui que a maioria dos testes em lista pequena dá errado. Segue uma forma prática de avaliar sem precisar de um curso de estatística.

1. Conte as aberturas de cada grupo e calcule quanto uma abertura representa. Com 25 por grupo, cada abertura são 4 pontos de taxa de abertura.
2. Pergunte: se duas ou três pessoas tivessem agido diferente, o vencedor mudaria? Se o grupo A teve 11 aberturas e o grupo B teve 9, duas pessoas decidem o resultado. Trate como empate.
3. Só declare um vencedor quando a distância for claramente maior do que um punhado de pessoas. Em grupos de 25, algo como 14 contra 7 merece crédito. Em grupos de 10, quase nada merece.
4. Se quiser uma verificação formal, calculadoras gratuitas de "significância de teste A/B" na internet aceitam aberturas e destinatários por grupo e dizem o grau de confiança possível. A maioria dos testes pequenos vai voltar como inconclusiva. Essa é a resposta honesta, não um fracasso.

Um guia aproximado do que dá para detectar de forma realista:

São regras de bolso propositalmente conservadoras para um único envio. Quanto mais envios você combinar, menor a diferença em que dá para confiar.

Confira também o tempo, não só os totais. Se as aberturas de uma variante acontecem todas na primeira hora e as da outra vão pingando ao longo de dois dias, o primeiro assunto está trabalhando mais, mesmo que os totais em 48 horas fiquem próximos.

Mantenha um registro contínuo, não um placar

O jeito de tirar respostas de verdade de uma lista pequena é acumular resultados. Monte uma planilha com uma linha por teste: data, segmento da lista, variante A, variante B, destinatários por grupo, aberturas por grupo e uma nota de uma linha sobre o padrão testado (específico versus genérico, pergunta versus afirmação, e assim por diante).

Depois:

• Teste o mesmo padrão em vários envios, com redações diferentes a cada vez. Se "específico" vence "genérico" em quatro de cinco envios, você aprendeu algo que pode usar, mesmo que nenhum envio isolado tenha sido conclusivo.
• Reaproveite o padrão vencedor como controle e teste um padrão novo contra ele da próxima vez. Uma variável por teste.
• Anote qualquer coisa que possa ter distorcido o grupo, como metade do grupo B estar em uma empresa que emendou o feriado.
• Reteste os vencedores de vez em quando. Um padrão que funcionou na prospecção fria pode não funcionar com as mesmas pessoas depois que elas já conhecem você.

Depois de oito ou dez envios, você terá um pequeno manual de assuntos baseado em evidências e ajustado aos seus leitores, o que vale mais do que qualquer lista de regras universais. As ferramentas são modestas: uma planilha, uma forma de enviar as duas versões ao mesmo tempo e uma forma de ver as aberturas por pessoa. Gmail mais uma mala direta gratuita com Apps Script resolvem boa parte do caminho; um rastreador de abertura como o Zestmail elimina a contagem manual, com 7 dias de teste gratuito no Pro (US$ 9 por mês ou US$ 69 por ano, detalhes na página de preços) caso 20 e-mails por dia não bastem para o seu teste. De um jeito ou de outro, a disciplina de dividir ao acaso, enviar no mesmo horário e ler números pequenos com honestidade é o que faz o teste valer a pena.