Real nümunələrdə A/B testinq

Qeyd: Yazı “Milli Marketinq Forumu – 2016” tədbirinin “Digital Marketinq” panelindəki çıxışımın qısaldılmış təxmini mətnidir.

A/B testinq realizasiya baxımından texniki proses olsa da, marketinq araşdırmaları qrupuna daxil olan bir metoddur. Və digital marketinqdə çox geniş istifadə edilir.
Təbii ki, mövzunun texniki yox,  real praktik və faydalılıq tərəflərindən, gəlirlərə nə dərəcədə təsir edə biləcəyindən  bir qədər danışacam.

Screenshot from 2016-06-01 12:21:51

Giriş

Məlum məsələdir ki, əgər söhbət digital dünyadan gedirsə bizi potensial alıcı ilə bağlayan əsas vasitə istifadəçi interfeysidir.
Bu həm mobil proqram təminatına aid ola bilər, həm də veb sayta.
Əgər bizim bütün digital biznesimiz, təqdim etdiyimiz profesional xidmət bu interfeys üzərindən keçirsə, təbii ki bizim biznes bilavasitə bu interfeydsən asılıdır.
Bu interfeysin düzgün, qəşəng, optimal, peşəkar, güvən aşılayan olmasını təmin etmək üçün UI və UX anlayışları var. Ki onlar ayrı söhbətin mövzusudur. Qısaca deyim ki, Uİ – istifadəçi interfeysinin düzgün, optimal, göz oxşayan və.s. olmasına cavabdehdirsə, UX bu interfeysin istifadəçi üçün ən rahat və hədəfə tezçatan olmasını təmin etməlidir.
Məsələn bir şirkətin veb saytı kifayət qədər profesional görünüşdə, əla dizayn elementləri ilə işlənə bilər, mobil versiya smartfonumuzda əla görünüş ilə aça bilər. Amma istifadəçi hər hansı məhsulu smartofnundan sifariş vermək üçün 5-6 link ilə keçid edəcəksə, uzun uzun qeydiyyat forması dolduracaqsa bu o deməkdir ki, sistemin UX-i bərbad vəziyyətdədir.
Qayıdaq mövzumuza. A/B testing o zaman lazım olur ki, Uİ və UX qaydasında olsun. Hər ikisi düzgün və peşəkar hazırlanıb, qapalı istifadəçi testindən keçib, rahatlıq təmin olunub. Və tutalım ki, artıq geridönüşlər də var və məsələn saytı ziyarət edən hər 1000 şəxsdən 5-i sifariş edir.
Yəni effektivlik əmsalı 0.005-dir. Bu da tutaq ki hələ ki pis deyil pula çevirəndə, amma kim daha çox olmasını istəməz ki.
A/B testingin mahiyyəti də məhz budur. Çətinliklə optimal vəziyyətə gətirilmiş və xeyli xərc çəkilmiş Uİ və UX-də ciddi heç nəyi dəyişmədən alıcı sayını artırmaq üçün aparılan testlər.
Məqsəd potensial alıcının rəyinə təsir göstərə biləcək bütün interfeys elementlərini ən optimal hala gətirməkdir.
Screenshot from 2016-06-01 12:23:06
Yəni özümüzə sual veririk. Biznes baxımından bizim mbil proqram və ya veb sayt ola biləcək ən yaxşı variantdadırmı? Yəni hazırda təklif etdiyimiz xidmət və məhsullarla elə bir interfeys mövcuddurmu ki, indikindən daha yaxşı satış edək?
 Bu suala birmənalı cavab vermək, ən optimal nəticəyə gəlmək sadəcə olaraq mümkünsüzdür.
Çünki ortada kütləvi xidmət faktoru var, insan faktoru var, idarəolunmaz nəhənglikdə verilənlər və onlar arasında münasibətlər var.
A/B testing təxminən bununla məşğuldur, fərqli yanaşma ilə, qismən, hesabla, kitabla.
Screenshot from 2016-06-01 12:23:42
 Qısaca qrafiklə göstərmək istəyirəm ki, A/B testingin elmi bazası nəyə söykənir. Riyaziyyatdan məlum olan məşhur böyük ədədlər qanununa söykənir. Qrafikdə Böyük ədədlər qanununun bir realizasiyası təsvir edilib:
Qəpiyi atıb ön və ya arxa hissəsinin düşməsi sınağı üçün.
Screenshot from 2016-06-01 12:24:42
Göründüyü kimi ilk cəhdlərimizdə qrafik çox sərt rəqs edir.
Bu o deməkdir ki, qəpiyi məsələn 8 dəfə atsaq, 4 dəfə ön, 4 dəfə arxa hissə düşməyəcək çox güman ki. Ola bilər ki 6 dəfə ön, 2 dəfə arxa hissə düşsün. Amma qrafikdən də görürük ki, sınaq sayı çoxaldıqca kənara çıxma halları azalır, rəqsetmə passivləşir. Yəni loru desək qəpiyi min dəfə atsaq hər iki tərəfin düşmə sayı 500-ə çox yaxın olacaq.
A/B testing də buna söykənir. Bəlli bir saya çatıncaya qədər sınaqlar apararaq interfeys elementinin, funksionalların hansının daha yaxşı olduğunu öyrənmək üçün.

 Bilikli.net ilə real nümunələr

İndi biz konkret veb sayt üzərində 1-2 nümunəyə baxaq, ki məsələ daha sadə formaya gəlsin. Bilikli.net layihəmiz onlayn test portalıdır. İstifadəçilər sistemə daxil olur, testlər həll edir, imtahanlara hazırlaşır. Saytda və mobil proqramında yerli bazar üçün kifayət qədər informasiya toplanıb, ona görə də bu informasiya yığılma sürətindən istifadə edib bir neçə A/B test aparmışıq, 3-ünü burada paylaşıram.
Screenshot from 2016-06-01 12:25:45
Bizim sistemdə qeydiyyat və testləri həll etmək ödənişsizdir. Lakin bəzi əlavə xidmətlər, testlərin izahlı həlllərini əldə etmək, fərdi konsultasiya, imtahan  simulyasiyası və.s. kimi xidmətər üçün PRO status təqdim edirik, bu ödənişlidir.
Pulsuz versiyadan istifadə edən istifadəçiyə ödənişli statusa keçid üçün təkliflər yerləşdirilir. CTA düymələri şəklində.
Mobil versiya üzrə olan CTA düyməsinin A/B testinə nəzər salaq:
Bu təkliflərin mətnləri üzərində müxtəlif kombinasiyalı A/B testlər apardıq ki, onları ümumuləşdirib burada bir qrafik şəklində göstərirəm.
Screenshot from 2016-06-01 12:26:33
Deməli tutaq ki mobil versiyada yuxarı küncdə istifadəçiyə PRO status əldə et təklifi veririk.
Müxtəlif sayda keçidlər olurdu.
Daha sonra A/B testingi işə salaraq mətnləri dəyişib keçidlərin sayını analiz etməyə başladıq. Əsas variant ilə yanaşı 3 yeni variasiya yaratdıq.
Bayaq da bəhs etdiyim böyük ədədlər qanununa görə minlərlə istifadəçilər sayta daxil olduqca onlara görünən mətn kombinasiyaları təxminən bərabər olur. Bəs keçid sayları necə? Bəli, keçid sayları kəskin fərqlənir. Bu qrafikdən də görürük ki,
PRO STATUS ƏLDƏ EDİN mətninə nisbətən İZAHLARI SİFARİŞ EDİN 22%, əldə eidn 150%, izahları görün 157%  artım göstərmişdir. O halda biz nə edirik? Təbii ki az nəticə göstərənlərdən vaz keçib ən yaxşı nəticə göstərənləri saxlayırıq. Beləliklə sonrakı gedişatda keçid sayları əvvəlkindən daha çox olmuş olur. Eyni zamanda keçid sayı ilə kifayətlənməyib bu keçid artımının məntiqi sonluqla başa çatmaları da təbii ki araşdırılmalıdır.
Digər ekspermientimiz düymələtin rəngi ilə bağlı idi. Əvvəlcə sırf ümumi praktikaya görə yaşıl düymə qoymuşduq. Eyni qaydada eksperimentlər nəticəsində aldıq ki, göy rəng 10% daha yaxşı nəticə göstərir. Digər rənglər isə daha pis nəticə göstərir.
Screenshot from 2016-06-01 12:29:16
Digər bir eksperiment də maraqlı oldu.  Əsas ödəməyə çağırış. düyməsində mətn olaraq bir dəfə standart Ödəniş et çağırışı, digərində isə Ödəniş edirəm – yəni alıcının dili ilə danışmaq mətni yerləşdirmişdik.
Screenshot from 2016-06-01 12:35:44

Bu isə bəzi xarici nümunələr:

Screenshot from 2016-06-01 12:36:23
Təkcə bir banneri yığışdırmaqla inanılmaz 43% artımına nail olublar.
Bu isə sadəcə yeni il təbrikində email başlığının seçilməsinin oxunma fərqlərinə təsiridir.
Screenshot from 2016-06-01 12:37:23

Gəldiyimiz bəzi nəticələr:

  • Müştərini tanıdığına əmin olmamalı – A/B test hər zaman bilmədiyimiz nəticələrə gətirə bilər
  • Yetərli statistika olmadan nəticə çıxarmamalı (müddət və sınaq sayı)
  • A/B test statistika yox, biznes üçündür, yekun nəticə öyrənilməli
  • Kombinasiyalı testlər də aparılmalı

A/B test metodlarını qruplaşdırsaq:

  • CTA eksperimentlər
  • Sifariş/Ödəniş səhifəsi eksperimentləri
  • Vizual media
  • Diqqətin fokuslanması eksperimentləri
  • Menyu, naviqasiya, istifadəçi formaları
  • Kənar platformalar – reklam mətnləri, email, social media və.s. sahələrdə eksperimentlər.
  • Və.s.
Belə. Ümid edirəm ki paylaşdığım informasiya az da olsa faydalı oldu. Təşəkkür edirəm.

Yeni yazı olanda xəbər tutmaq üçün

* indicates required

Bir cavab yazın

Sizin e-poçt ünvanınız dərc edilməyəcəkdir. Gərəkli sahələr * ilə işarələnmişdir