Meta'da kreatif testi neden karar üretmiyor: beş kurulum hatası ve karar üreten düzen

Meta reklam hesaplarında en çok gördüğüm şey testin yokluğu değil, sonucu okunamayan testin çokluğu. Ajans “dört kreatifi test ettik, B kazandı” der; bütçe B’ye taşınır; bir ay sonra sonuç başına maliyet eskisiyle aynıdır. Test yapılmıştır ama karar üretmemiştir, çünkü neyin test edildiği, hangi eşikte okunacağı ve kazananın ne yapacağı baştan yazılmamıştır.

Bu yazı Meta Reklam Danışmanlığı sayfasında dört adımla anlattığım test düzeninin arkasındaki hataları anlatıyor. O sayfa düzenin nasıl kurulacağını söylüyor; bu yazı neden bozulduğunu. Beş kurulum hatasının her birini, Meta’nın kendi dokümanlarındaki eşiklerle birlikte yazdım; sonunda karar üreten testin beş satırlık tablosu var.

Bir not: reklam yayınlamıyorum, kreatif üretmiyorum. Testi ajansınız ya da ekibiniz kurar; ben düzenin doğru olup olmadığına ve sonucun satış kaydıyla uyuşup uyuşmadığına bakarım.

Test neden karar üretmez?

Test karar üretmez çünkü sonucu okuyacak kural testten önce yazılmamıştır. Kural yoksa sonuç yorumlanır; yorum ise çoğu zaman testi kuran kişinin baştaki tahminini doğrular.

Mekanizma şöyle: iki kreatif aynı sete konur, birkaç gün koşar, biri daha çok gösterim ve tıklama alır. “Kazanan” o ilan edilir. Oysa Meta’nın dağıtım sistemi bütçeyi erken sinyale göre kaydırır; daha çok gösterim alan kreatif daha iyi olduğu için değil, ilk saatlerde daha ucuz tıklama aldığı için öne geçmiş olabilir. Bu sırada set öğrenme aşamasındadır ve Meta’nın öğrenme aşaması dokümanı bu dönemde performansın daha az kararlı olduğunu ve sonuçların gelecekteki performansı göstermeyebileceğini açıkça yazıyor.

İkinci sebep ölçüm. Test sonucu Meta panelinden okunur; panelde varsayılan atıf yedi gün tıklama ve bir gün görüntülemedir. Satış kaydıyla karşılaştırılmayan test, Meta’nın kendi saydığı dönüşümü karşılaştırır; ölçüm bozuksa iki yanlış rakam yarışır. Bunu Ölçümleme Danışmanlığı sayfasında ayrıca anlattım; test ölçümden sonra gelir, önce değil.

Beş kurulum hatası hangileri?

Beş hata şunlar: tek seferde iki değişken, öğrenme bitmeden okuma, kazananı tıklama oranıyla seçme, bütçeyi otomasyonla paylaştırıp sonucu ayıramama, testi ana sette yapma. Beşi de test başlamadan yapılır.

1. Tek seferde iki değişken

Görsel de metin de kitle de değişmişse test hangi değişkenin işe yaradığını söyleyemez. “B kazandı” cümlesi doğru olsa bile B’nin neyi doğru yaptığı bilinmez; bir sonraki kreatif yine tahminle üretilir. Meta’nın A/B testi dokümanı da testi tek değişken üzerinden tanımlıyor: görsel, metin, kitle ya da yerleşim; biri.

Ne yapılır: test başlamadan “değişen tek şey şu” cümlesi yazılır; geri kalan her şey iki varyantta birebir aynı tutulur.

2. Öğrenme bitmeden okuma

Meta, reklam setinin öğrenme aşamasından çıkması için son önemli düzenlemeden sonraki bir hafta içinde yaklaşık 50 sonuç görmek istiyor; dokümanı bunu ve öğrenme sırasında düzenleme yapmanın öğrenmeyi sıfırladığını yazıyor. İkinci günün rakamıyla kapatılan test, gürültüyü sinyal sayar. Daha kötüsü, test sırasında bütçe ya da kitle “iyileştirmesi” yapmak öğrenmeyi baştan başlatır ve test hiç bitmez.

Ne yapılır: eşik testten önce yazılır: varyant başına en az 50 sonuç ya da bütçenin izin verdiği en yakın sayı. Eşik geçilene kadar hiçbir şeye dokunulmaz; dokunulursa test sıfırdan başlar.

3. Kazananı tıklama oranıyla seçme

Tıklama oranı en hızlı görünen rakamdır ve bu yüzden en çok karar verdirir. Ama test satış ya da talep için kuruluyorsa karar rakamı sonuç başına maliyettir. Meraklı kitleyi çeken kreatif tıklama oranını yükseltir ve satışı düşürür; doğru kişiyi çeken kreatif az tıklanır ve ucuz satış getirir. Meta’nın A/B testi de karşılaştırmayı sonuç başına maliyet ya da dönüşüm artışı üzerinden yapıyor, tıklama üzerinden değil.

Ne yapılır: karar metriği testten önce yazılır ve satış kaydıyla doğrulanır. Tıklama oranı ve izlenme süresi yardımcı sütun olarak kalır; kazananı belirlemez.

4. Bütçeyi otomasyonla paylaştırıp sonucu ayıramama

Kampanya bütçesi otomasyonu ve Advantage+ ayarları açıkken bütçe varyantlar arasında Meta’nın tercihine göre dağılır; bir varyant günün sonunda bütçenin yüzde 80’ini almış olabilir. O zaman karşılaştırılan şey iki kreatif değil, iki farklı bütçedir. Aynı şey Advantage+ kreatif iyileştirmeleri için de geçerli: bir tarafta açık diğer tarafta kapalıysa ölçülen fark otomasyonun farkıdır.

Ne yapılır: A/B testi kitleyi böler ve Meta’nın dokümanına göre iki sürüme aynı bütçeyi vermek adil karşılaştırmanın koşuludur. Otomasyon ayarları iki tarafta da aynı tutulur. Advantage+ hedef kitle gibi otomasyonların kendisi test edilecekse, o ayrı bir testtir ve kreatif testiyle aynı anda yapılmaz.

5. Testi ana reklam setinde yapma

Çalışan ana sete yeni bir kreatif eklemek “test” değildir: set önemli düzenleme görür, öğrenme sıfırlanır, ana kampanyanın performansı düşer ve yeni kreatif eski kreatifin birikmiş sinyaliyle yarışır. Sonuç ne kazananı ne kaybedeni gösterir; yalnız o haftanın maliyetini yükseltir.

Ne yapılır: test ayrı bir sette ya da Meta’nın deney aracında kurulur; ana set dokunulmadan çalışmaya devam eder. Kazanan belli olduktan sonra ana sete taşınır.

Karar üreten test düzeni nasıl görünür?

Karar üreten test beş satırla başlar: hedef, değişken, eşik, süre ve karar kuralı. Beşi testten önce yazılmadıysa test kurulmamıştır; yalnız iki reklam yayınlanmıştır.

Satır	Ne yazılır	Örnek
Hedef	Testin hangi sonuç için kurulduğu	Sonuç başına maliyeti düşürmek; ölçü: satış kaydındaki talep
Değişken	Değişen tek şey	Açılış cümlesi: fiyat itirazı önce mi, ürün faydası önce mi
Eşik	Karar için gereken en az veri	Varyant başına 50 sonuç; toplam bütçe buna göre
Süre	Eşiğe ulaşılmazsa testin kapanacağı gün	14 gün; dolmadıysa sonuç “belirsiz” yazılır
Karar kuralı	Sonuç ne olursa ne yapılacağı	Fark yüzde 20’yi geçiyorsa kazanan ana sete; geçmiyorsa ikisi kalır, sonraki test kurulur

Beşinci satır tablonun asıl işlevidir. “Fark küçükse ne olacak” baştan yazılmışsa test belirsiz bittiğinde de bir karar üretir: iki varyant kalır ve bir sonraki test başka bir değişkeni ele alır. Bu satır yoksa belirsiz sonuç yoruma açılır ve yorum hep aynı yere varır: bütçe olduğu yerde kalır.

Advantage+ ne zaman test edilebilir, ne zaman edilemez?

Advantage+ otomasyonları, hesap öğrenme eşiğini düzenli geçiyorsa test edilebilir; geçmiyorsa test edilemez, çünkü karşılaştırılacak kararlı bir taban yoktur.

Koşullu cevap:

• Reklam setleri öğrenme aşamasını düzenli bitiriyorsa Advantage+ hedef kitle ile kendi kitle yapınızı aynı kreatif ve aynı optimizasyon etkinliğiyle iki sette karşılaştırabilirsiniz. Karar yine satış kaydıyla verilir; Meta’nın dokümanındaki ortalama düşüş yüzdeleri sizin hesabınızın sonucu değildir.
• Setler “öğrenme sınırlı” görünüyorsa otomasyon testi anlamsızdır; algoritmanın öğrenecek verisi yoktur ve geniş kitle de bunu çözmez. Önce setler birleştirilir ya da huninin üstündeki bir etkinlikle optimize edilir.
• Kreatif testiyle aynı anda hiçbir otomasyon test edilmez; iki değişken bir arada okunamaz.
• Advantage+ kreatif iyileştirmeleri test süresince iki varyantta da aynı durumda tutulur; açık ya da kapalı, ama aynı.

Otomasyon iyi bir araçtır; testin içine değişken olarak girdiğinde testi bozar, kendi başına test edildiğinde bilgi verir.

Testten sonra bütçe nasıl taşınır?

Kazanan belli olduktan sonra bütçe bir günde değil, kademeli taşınır ve kazanan kreatif ana sete “önemli düzenleme” sayılmayacak biçimde eklenir.

Sırayla:

1. Sonucu satış kaydıyla doğrulayın. Meta panelindeki sonuç başına maliyet ile aynı dönemin gerçek talep ya da satış sayısı yan yana konur. Uyuşmuyorsa test sonucu bekletilir; ölçüm önce düzeltilir.
2. Kazananı kütüğe yazın. İddia, değişken, iki varyantın rakamı, karar. Kütük tutulmayan hesapta aynı test altı ay sonra yeniden yapılır.
3. Bütçeyi kademeli artırın. Kazanan set öğrenmeyi bitirmişse bütçe büyük sıçramalarla değil, kademeli artırılır; büyük artış önemli düzenleme sayılıp öğrenmeyi sıfırlayabilir.
4. Kaybedeni hemen kapatmayın. Fark küçükse ikisi de kalır; kaybeden, kazanan yorulduğunda ilk yedek olur.
5. Bir sonraki testi kazananın üstüne kurun. Yeni değişken, kazananın hangi unsurunun çalıştığına göre seçilir; test sıfırdan değil, birikimle ilerler.

Bu beş adım, testin harcadığı bütçeyi bir sonraki teste bilgi olarak taşır. Taşınmayan bilgi, harcanmış bütçedir.

Ajansın test raporuna hangi üç soru sorulur?

Ajansın “test ettik, B kazandı” raporuna üç yazılı soru yeter; üçünün cevabı da testten önce yazılmış olmalıydı.

1. “Testte değişen tek şey neydi ve iki varyantta başka ne aynı tutuldu?” Cevap bir kelime ve bir liste. İki değişken sayılıyorsa test okunamaz.
2. “Her varyant kaç sonuç gördü ve karar hangi metrikle verildi?” Cevap iki sayı ve bir metrik adı. Sayı 50’nin çok altındaysa ya da metrik tıklama oranıysa kazanan yoktur.
3. “Kazanan ana sete taşındıktan sonra sonuç başına maliyet ne oldu?” Cevap iki dönemin iki rakamı. Değişmediyse test karar üretmemiştir.

Cevaplar geliyorsa test düzeni vardır ve bir sonraki testi birlikte planlayabilirsiniz. Gelmiyorsa hesabın test kütüğünü ve son üç testin sonucunu bağımsız bir gözle okutmanın zamanıdır; raporda yazanla hesapta olanı yan yana koymayı Ajans ve Ekip Denetimi sayfasında anlattım. Google tarafında aynı sorunun karşılığı Performance Max raporudur; onu ayrı bir yazıda ele aldım.

Kreatif testi Meta’da yapılabilecek en değerli iştir, çünkü bütçenin gittiği yeri tahminle değil veriyle seçtirir. Ama yalnız kural testten önce yazılmışsa. Kural sonradan yazıldığında test bir şey öğretmez; yalnız baştaki tahmini biraz daha pahalı hale getirir.