이메일 제목 A/B 테스트, 수신자 30~300명일 때 지메일에서 하는 법

수신자가 적어도 이메일 제목 A/B 테스트는 할 수 있습니다. 다만 작은 숫자가 알려줄 수 있는 것과 없는 것을 먼저 받아들여야 합니다. 방법 자체는 단순합니다. 수신자를 무작위로 두 그룹으로 나누고, 같은 본문에 제목만 다르게 붙여 같은 시각에 보낸 뒤, 그룹별로 몇 명이 열어봤는지(수신확인) 비교하면 됩니다. 어려운 건 마지막 단계입니다. 한 그룹이 25명이면 한 명이 더 열어보는 것만으로 오픈율이 4%p 움직이기 때문에, 한 번의 테스트는 대부분 무승부로 끝납니다. 해결책은 차이가 큰 제목끼리 비교하고, 여러 번의 발송에 걸쳐 반복하고, 기록을 남기는 것입니다. 한 번의 결과를 믿는 게 아니라요.

이 글은 그 전체 과정을 다룹니다. 어떤 제목 패턴을 비교할 가치가 있는지, 지메일에서(수동으로 또는 구글 시트 메일 머지로) 공정하게 그룹을 나눠 보내는 법, 그룹별 수신확인을 측정하는 법, 그리고 눈에 보이는 차이가 진짜인지 우연인지 판단하는 법까지입니다.

수신자가 적을 때 이메일 제목 A/B 테스트가 다른 이유

대형 발송자는 수만 명 단위로 제목 테스트를 합니다. 그 규모에서는 오픈율 2%p 차이도 대체로 진짜입니다. 하지만 거래처 80곳에 뉴스레터를 보내거나, 잠재 고객 40명에게 콜드 메일을 보내는 상황이라면 계산이 완전히 달라집니다.

소규모 테스트가 어려운 이유는 세 가지입니다.

• 한 사람 한 사람의 비중이 큽니다. 20명 그룹에서는 수신자 한 명이 오픈율 5%p입니다. 그 사람이 마침 휴가 중이었는지가 제목 문구보다 결과에 더 크게 작용합니다.
• 수신확인은 완벽하지 않습니다. 열람 여부는 보통 메일이 표시될 때 로드되는 아주 작은 이미지로 감지합니다. 이미지를 차단한 수신자는 집계되지 않고, Apple Mail의 '메일 개인 정보 보호' 기능을 켠 수신자는 읽었든 안 읽었든 열람으로 잡힐 수 있습니다. 큰 리스트에서는 이런 오차가 고르게 섞이지만, 작은 리스트에서는 테스트 결과를 한쪽으로 기울일 수 있습니다.
• 리스트가 균일하지 않습니다. 같은 회사 사람이 열 명 섞여 있거나, 기존 고객과 콜드 리드가 한 리스트에 있으면, 무작위로 나눠도 잘 열어보는 사람들이 우연히 한쪽에 몰릴 수 있습니다.

그렇다고 테스트를 건너뛰라는 뜻은 아닙니다. 한 번 보내고 승자를 정하는 게 아니라, 몇 주에 걸쳐 패턴을 배우는 용도로 테스트를 돌리라는 뜻입니다.

비교해 볼 만한 제목 패턴

서로 확실히 다른 안을 고르세요. "잠깐 질문드립니다"와 "질문 하나 드립니다"를 비교하는 건 발송 한 번을 낭비하는 일입니다. 아래는 어느 쪽으로든 눈에 띄는 차이를 내는 경향이 있는 패턴들로, 소규모 테스트에 필요한 것이 바로 이런 차이입니다.

구체적 vs 일반적

일반적: 프로젝트 진행 상황 공유드립니다 구체적: 판교 사옥 건 계약서 초안, 검토 부탁드립니다

구체적인 제목은 안에 무엇이 있고 왜 본인과 관련 있는지를 알려줍니다. 업무 메일에서 가장 큰 영향을 주는 요소인 경우가 많으니, 가장 먼저 테스트할 패턴입니다.

질문형 vs 서술형

서술형: 11월 세금계산서 입금 기한이 지났습니다 질문형: 11월 세금계산서, 이번 주 지급 건에 포함되어 있을까요?

질문형은 답장을 유도하고 독촉처럼 느껴지는 정도가 덜합니다. 다만 아직 관계가 없는 상대에게는 오히려 부담스럽게 읽힐 수 있습니다.

수신자 맥락 포함 vs 미포함

기본: 홈페이지 제작 제안서 보내드립니다 맥락 포함: ○○베이커리 홈페이지 리뉴얼 제안서 보내드립니다

수신자의 회사명, 프로젝트명, 지점명처럼 실제로 쓰는 이름을 넣으면 템플릿 메일이 아니라는 신호가 됩니다. 메일 머지를 쓴다면 병합 필드 하나만 추가하면 되니 비용이 들지 않습니다.

짧은 제목 vs 설명형 제목

짧게: 목요일 괜찮으세요? 설명형: 킥오프 미팅, 목요일 오후 2시 가능하실까요?

짧은 제목은 받은편지함에서 눈에 띄지만 열어볼 이유를 주지 않습니다. 설명형은 관련성으로 승부합니다. 어느 쪽이 이기는지는 수신자가 이미 나를 아는지에 크게 좌우됩니다.

숫자 포함 vs 미포함

10월 일정 변경 사항 3가지와 10월 일정 변경 사항을 비교하는 식입니다. 숫자는 '짧고 훑어보기 쉬운 내용'이라는 기대를 만듭니다.

소규모 리스트에서 테스트할 가치가 없는 것: 이모지, 괄호나 기호 장식, 문장부호 조정. 효과가 있더라도 수백 명 미만에서는 보이지 않을 만큼 작습니다.

지메일에서 그룹을 나눠 보내는 방법, 단계별로

지메일에는 A/B 테스트 기능이 없으므로 직접 세팅해야 합니다. 핵심은 두 가지, 공정한 그룹 분할과 두 그룹 동시 발송입니다.

구글 시트에서 그룹 나누기

1. 구글 시트에 수신자를 입력합니다. 열은 이메일, 이름, 그리고 필요한 병합 필드(회사명, 프로젝트명 등)로 구성합니다.
2. 그룹이라는 새 열을 만들고 각 행에 =RAND()로 난수를 넣습니다. 그다음 그 열을 복사해 수정 > 선택하여 붙여넣기 > 값만 으로 붙여넣어 숫자가 더 이상 바뀌지 않게 합니다.
3. 그 열 기준으로 시트를 정렬합니다. 위쪽 절반이 A그룹, 아래쪽 절반이 B그룹입니다. 버전 열을 만들어 A 또는 B를 입력합니다.
4. 제목 열을 추가하고 A행에는 제목 A를, B행에는 제목 B를 채웁니다. 이제 시트 하나로 한 번의 발송을 돌릴 수 있습니다.

가나다순이나 추가된 날짜순이 아니라 난수로 나누는 이유는, 같은 회사 사람들이 우연히 한 그룹에 몰리는 걸 피하기 위해서입니다.

두 버전을 같은 시각에 보내기

손으로 보낼 수 있을 만큼 적은 인원이라면, 본문을 한 번 쓴 뒤 한 사람씩 따로 보내세요(전원을 숨은참조에 넣어 한 통으로 보내면 안 됩니다. 그러면 사람별 수신확인을 볼 수 없습니다). 제목은 시트에 적어둔 것을 사용합니다. 두 그룹은 30분 이내에 모두 발송하세요. 발송 시각은 대부분의 제목 변경보다 오픈율에 더 큰 영향을 줍니다.

손으로 보내기엔 너무 많다면 메일 머지를 쓰세요. 지메일에서는 Apps Script로 무료로 할 수 있고(구글 시트 메일 머지는 별도 가이드가 있습니다), 확장 프로그램을 써도 됩니다. Zestmail은 구글 시트 URL만으로 지메일 안에서 메일 머지를 실행하고 예약 발송도 지원하기 때문에, 자리를 지키고 있지 않아도 A그룹과 B그룹이 같은 분에 나갑니다. 무료 플랜은 하루 20통 제한에 메일 하단에 작은 'Sent with Zestmail' 문구가 붙습니다. 60명 테스트라면 Pro 플랜이 필요하거나 발송을 며칠에 나눠야 하는데, 나눠 보내면 테스트의 신뢰도가 떨어집니다. 참고로 확장 프로그램과 웹사이트는 영어로만 제공됩니다.

그룹별 수신확인 측정하기

필요한 건 전체 합계가 아니라 수신자별 열람 데이터입니다. 선택지는 다음과 같습니다.

• 지메일 기본 읽음 확인 요청은 Google Workspace 계정에만 있고, 상대방 메일 시스템이 지원하면서 상대방이 보내기로 동의해야만 작동합니다. 네이버나 다음 메일의 수신확인처럼 자동으로 되는 게 아니라서 테스트에는 쓸 수 없습니다.
• 수신확인 확장 프로그램은 각 메일에 보이지 않는 이미지를 넣어 누가 언제 열었는지 보여줍니다. Zestmail은 이걸 지메일 안에서 처리하고, 내가 직접 연 것과 흔한 봇 열람(사람보다 먼저 메일을 '여는' 보안 스캐너 같은 것)을 걸러낸 뒤 사이드 패널에 결과를 보여줍니다. 받은편지함을 읽는 권한은 요청하지 않습니다. AI 기반 제목 A/B 테스트 기능으로 제목 후보를 제안받고 열람 결과와 같은 곳에서 비교할 수도 있어 위의 시트 작업을 줄일 수 있습니다. 단, AI 기능은 제안을 만들기 위해 초안을 Zestmail 서버로 전송합니다.

어떤 도구를 쓰든 집계 전에 정해진 시간을 기다리세요. 업무 메일은 48시간이면 대부분 커버됩니다. 두 그룹 모두 같은 시점에 집계합니다.

결과 읽기: 차이가 진짜인 건 언제인가

소규모 테스트가 가장 많이 틀어지는 지점입니다. 통계 강의 없이 판단하는 실용적인 방법입니다.

1. 그룹별 열람 수를 세고, 열람 한 건이 몇 %p인지 계산합니다. 그룹당 25명이면 열람 한 건이 4%p입니다.
2. 자문해 보세요. 두세 명이 바뀌면 승자가 바뀌는가? A그룹 11명, B그룹 9명이 열었다면 두 사람이 결과를 결정하는 셈입니다. 무승부로 취급하세요.
3. 차이가 '몇 명' 수준을 분명히 넘을 때만 승자를 정합니다. 25명 그룹에서는 14 대 7 정도면 믿을 만합니다. 10명 그룹에서는 거의 어떤 결과도 믿기 어렵습니다.
4. 공식적으로 확인하고 싶다면 무료 온라인 'A/B 테스트 유의성 계산기'에 그룹별 수신자 수와 열람 수를 넣어 보세요. 소규모 테스트는 대부분 '결론 없음'으로 나옵니다. 그게 실패가 아니라 정직한 답입니다.

현실적으로 감지할 수 있는 차이의 대략적인 기준입니다.

일부러 보수적으로 잡은, 발송 한 번 기준의 어림값입니다. 발송을 여러 번 합칠수록 더 작은 차이도 믿을 수 있게 됩니다.

합계만 보지 말고 시간도 확인하세요. 한 버전은 첫 한 시간 안에 열람이 몰리고 다른 버전은 이틀에 걸쳐 띄엄띄엄 열린다면, 48시간 합계가 비슷하더라도 전자의 제목이 더 일을 많이 하고 있는 겁니다.

점수판이 아니라 누적 기록을 남기세요

작은 리스트에서 진짜 답을 얻는 방법은 결과를 쌓는 것입니다. 테스트 한 번에 한 행씩 기록하는 시트를 만드세요. 날짜, 리스트 구분, A안, B안, 그룹별 수신자 수, 그룹별 열람 수, 그리고 어떤 패턴을 테스트했는지 한 줄 메모(구체적 vs 일반적, 질문형 vs 서술형 등).

그다음에는:

• 같은 패턴을 매번 다른 문구로 여러 번 테스트합니다. '구체적' 제목이 다섯 번 중 네 번 '일반적' 제목을 이겼다면, 개별 발송은 하나도 결정적이지 않았더라도 쓸 만한 교훈을 얻은 겁니다.
• 이긴 패턴을 기준안으로 삼고 다음에는 새 패턴을 그것과 비교합니다. 테스트 하나에 변수 하나.
• 그룹을 왜곡했을 수 있는 요인을 적어둡니다. 예를 들어 B그룹 절반이 연휴로 휴업한 한 회사 사람들이었다든지.
• 이긴 패턴도 가끔 다시 테스트합니다. 콜드 메일에서 통했던 패턴이 상대가 나를 알게 된 뒤에는 통하지 않을 수 있습니다.

발송 여덟 번에서 열 번쯤 지나면, 내 수신자에게 맞는 근거 있는 제목 작성 원칙이 짧게 정리됩니다. 어떤 '만능 제목 공식' 목록보다 훨씬 쓸모 있습니다. 필요한 도구는 소박합니다. 스프레드시트 하나, 두 버전을 동시에 보내는 수단, 사람별 열람을 보는 수단. 지메일과 무료 Apps Script 메일 머지로 대부분 해결되고, Zestmail 같은 수신확인 도구를 쓰면 수작업 집계가 사라집니다. 하루 20통으로 테스트가 부족하다면 Pro 플랜에 7일 무료 체험이 있습니다(월 $9 또는 연 $69). 어느 쪽이든 무작위 분할, 동시 발송, 작은 숫자를 정직하게 읽는 규율이 테스트를 할 가치 있게 만듭니다.