Em resumo: o time de busca do Airbnb tinha mais ideias para testar do que tráfego para testá-las. A solução foi o interleaving, técnica que mistura os resultados de dois algoritmos de ranqueamento na mesma lista e mede a preferência do mesmo usuário. Resultado: sensibilidade 50 vezes maior que um teste A/B, com 82% de concordância entre os métodos.
Quando você busca uma acomodação no Airbnb, um algoritmo decide o que aparece primeiro. Melhorar esse algoritmo é prioridade absoluta, mas o teste A/B tradicional tem um gargalo: viagens são transações raras, então cada experimento demora e consome tráfego que poderia testar outra ideia. É o mesmo gargalo de qualquer programa de experimentação, só que em escala maior.
O que é interleaving
No teste A/B, os usuários são divididos em dois grupos e cada um vê os resultados de um algoritmo. No interleaving, o mesmo usuário vê uma lista que mistura os resultados dos dois algoritmos, intercalados. A preferência é medida pelos cliques daquela pessoa, o que elimina a variância entre grupos, o maior consumidor de amostra do teste A/B.
Os números do Airbnb: um experimento de interleaving usa cerca de 6% do tráfego e um terço do tempo de um teste A/B equivalente. No caso extremo documentado, 0,5% do tempo e 4% do tráfego chegaram à mesma conclusão do teste A/B correspondente.
A esteira em três fases
O interleaving não substituiu o teste A/B: virou a peneira antes dele. Primeiro, avaliação offline com NDCG. Depois, interleaving para filtrar rápido as ideias promissoras. Só as que sobrevivem vão para o teste A/B completo. A fila anda mais rápido porque a maioria das ideias morre cedo e barato, sem consumir o recurso mais escasso do programa.
Onde o interleaving falha
A concordância de 82% com os testes A/B veio com um aprendizado importante: quando o algoritmo otimiza o conjunto da página, e não cada item isolado, o interleaving quebra a premissa e gera resultado enganoso. O exemplo do próprio time: um ranqueador que decide rebaixar anúncios com base na página inteira não pode ser avaliado item a item. A recomendação é avaliar caso a caso nesse cenário.
Minha leitura
O que vale copiar do Airbnb não é o interleaving, que exige infraestrutura que quase ninguém tem. É a arquitetura de esteira: hipóteses baratas de errar passam por filtros rápidos e baratos antes de consumir tráfego e tempo de teste. Na maioria das empresas, essa peneira pode ser pesquisa qualitativa, análise de gravações de sessão ou avaliação heurística antes do A/B. O princípio é o mesmo: o teste A/B é a etapa mais cara da esteira, então deixe para ele só o que merece.
E um elogio raro que o artigo merece: publicar a taxa de discordância junto com a de concordância. 82% de acordo significa 18% de divergência, e o time explica onde o método quebra. É o oposto do case de palco, em que tudo funciona sempre.
O que a gente aprende
- O gargalo de experimentação é tráfego, não ideia. Otimize a esteira antes de pedir mais volume.
- Métodos rápidos filtram, métodos caros confirmam. Interleaving filtra; A/B confirma; cada um no seu papel.
- Todo método tem um domínio de validade. Saber onde ele quebra faz parte de usá-lo.
Perguntas frequentes sobre interleaving
O que é interleaving em experimentação?
É uma técnica de avaliação online em que o mesmo usuário vê uma lista que mistura os resultados de dois algoritmos, e a preferência é medida pelos cliques. Elimina a variância entre grupos do teste A/B tradicional.
Interleaving substitui o teste A/B?
Não. No Airbnb, ele funciona como filtro rápido antes do teste A/B, que segue como etapa de confirmação. Os dois métodos concordam em 82% dos casos no estudo.
Quanto o interleaving acelerou a experimentação do Airbnb?
Cada experimento usa cerca de 6% do tráfego e um terço do tempo de um teste A/B equivalente, uma sensibilidade 50 vezes maior.
Fontes
Beyond A/B test: speeding up Airbnb search ranking experimentation through interleaving, Airbnb Engineering (em inglês). Traduzido e adaptado pela CRO Brasil.