A/B Test Untuk Pemasar

w-ab-test

A/B test (kadang disebut juga split test) adalah sebuah metode eksperimen yang banyak digunakan marketer untuk membandingkan 2 versi (A atau B) suatu variabel. A/B test sering kali digunakan marketer untuk melakukan optimalisasi pada web ataupun aplikasi. Seperti misal mengganti warna tombol sign up atau mengganti gambar pada banner. Tools yang biasa digunakan untuk mempermudah hal ini adalah Optimizely dan VWO.

 

Kenapa Perlu A/B Test?

Tanpa data semua ide optimalisasi dari marketer hanyalah asumsi. A/B test menjembatani antara ide kreatif marketer dengan keadaan sebenarnya. Apakah perubahan yang disarankan tersebut benar dapat mengoptimalisasi. Misal secara psikologi warna merah memberikan efek lapar, namun apakah otomatis web catering dengan warna dominan merah mampu menjual lebih banyak boks makanan? Tentunya hal ini harus dikonfirmasi dengan data, salah satunya dengan metode A/B test. Dengan begitu maka optimalisasi yang diusahakan dapat terarah dengan baik, bukan sekedar brute force.

Selalu ada dua variabel pada A/B test, control dan treatment. Control variable adalah versi sekarang tanpa perubahan sedangkan treatment variable adalah versi yang sudah dilakukan perubahan ataupun modifikasi.

 

Yang Dibutuhkan Dalam A/B Test

  1. Hipotesis yang akan diuji (idealnya berdasarkan educated guess)
  2. Sebuah metric yang akan menjadi ukuran kesuksesan (conversion rate, click through rate, dll)
  3. DATA
  4. Analisa statistik untuk mengambil kesimpulan (t-test atau chi-square test)

 

Lakukan Dan Jangan Pada A/B Test

Jangan Lakukan

  • Uji beberapa variabel pada satu waktu sekaligus.
  • Tidak menentukan sample size yang tetap di awal penelitian.
  • Subjek penelitian sudah ditentukan sebelum pengumpulan data berjalan.
  • Menggunakan sampel yang tidak representatif dari populasi yang ingin diambil kesimpulan
  • Memasukan semua traffic potential pada pengumpulan data.
  • Mengehentikan pengumpulan data seketikan setelah uji statistik terbukti signifikan.

Lakukan

  • Hanya uji satu variabel pada satu waktu tertentu.
  • Tentukan sample size di awal, paling tidak 500 pada tiap kelompoknya.
  • Tempatkan subjek penelitian secara acak.
  • Untuk mendapatkan hasil yang bisa digeneralisasi ambil subjek dari berbagai bagian hari dan minggu, juga dari berbagai sumber traffic.
  • Pastikan ada kelompok non participant selama proses pengumpulan data.
  • Hentikan pengumpulan data dan lakukan uji statistik hanya jika sample size yang sudah dintentukan di awal terpenuhi jumlahnya.
Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s