Multivariat test og A / B-test forenklet: Sådan testes teknikker til optimering af websider

multivariate testing

Introduktion:

Der er mange hjemmesider og applikationer, som vi ofte bruger. Mens vi bruger dem, lægger vi sandsynligvis ikke meget opmærksomhed på, hvordan webstedet kom til at være dets nuværende version - på den anden side, hvis noget ikke virker korrekt, vil vi sandsynligvis aldrig besøge webstedet / appen igen.

Spørgsmålet er - hvad skal der til for at få “det” rigtigt?

Hvad du vil lære:

• Multivariat test og A / B test
• Hvad er multivariat test?
• Typer af MVT-test:
• Hvordan man udfører multivariat test
• Fejl, der skal undgås
• Do's and Don'ts
• Fordele og ulemper
• A / B-test
• Fordele og ulemper ved A / B-tests:
• A / B-test vs multivariat-test vs split-test
• Multivariat test
• A / B / Split / Multivariate testværktøjer
• Anbefalet læsning

Multivariat test og A / B test

“It” er ofte funktionaliteten - som vi har bundsolide QA-processer til at teste og evaluere. Men “det” også består af design, en kombination af elementer, placering af indhold på en side, undertiden endda farve, orientering osv., der spiller en fremtrædende rolle i generel accept af produktet af slutbrugeren.

En gren af ​​test, der kan hjælpe meget på dette område er Multivariat test og A / B test .

I dagens artikel vil vi diskutere Multivariat (MVT) test og A / B-test typer i detaljer.

Begge disse er målrettet mod websideoptimering og forbedring af konverteringsfrekvensen (den hastighed, hvormed besøgende bliver kunder eller tilbagevendende besøgende - til gengæld forretning) for et websted.

Hvad er multivariat test?

Lad os begynde med en Eksempel .

Hvis et bestemt websted arbejder på at designe / redesigne / bestemme effektiviteten af ​​en side, der skal have et billede og den tilsvarende tekst - Efter nøje overvejelse og overvejelse, hvis virksomheden kortlægger følgende to billeder og to sætninger - kunne de mulige kombinationer af dem være som følger:

1) Billede 1

2) Billede 2

3) Overskrift / sætning 1: “Målet skal være NUL ulykker”

4) Overskrift / sætning 2: “Vores mål: Ingen ulykke”

Kombinationer:

I ovenstående eksempel har vi testet variationer til kombinationerne af felterne for at se, hvilken der passer godt. Kort sagt, lige der er der multivariat test.

Mere teknisk og specifikt anvendes nedenstående formel til at bestemme nr. af mulige kombinationer, der kræves for at teste de forskellige kombinationer, og det er:

(# Variations on Element A) X (# Variations on Element B) ... .. = (Total # Variations)

I ovenstående eksempel er der 2 variationer for overskriften såvel som 2 variationer for billedet.

Således er der ifølge formlen i alt 4 kombinationer af variationerne, der skal testes samtidigt for at finde den bedste variationskombination.

• Hovedformålet med at udføre multivariat test er at måle og bestemme effektiviteten af ​​hver variationskombination på det endelige system.
• Efter at have afsluttet variationskombinationerne, startes test for at bestemme det mest succesrige design, når der er modtaget nok trafik af webstedet.
• De opnåede resultater med hver variationskombination sammenlignes med de andre for at finde ud af, hvilket design der er bedst egnet til at nå det ultimative mål (i de fleste tilfælde er det Salg ).
• Disse statistikker giver et klart billede af, om den særlige ændring har været nyttig eller ej.
• En positiv eller negativ indvirkning på brugerens interaktion kan også analyseres

Hele denne proces med kontinuerlig multivariat test, forbedring af design baseret på de opnåede resultater og opnåelse af forretningsmål på grund af det ( Eksempel: længere engagementstid for en bruger på en bestemt side) kaldes Optimering af destinationsside - hvis mål er at bringe flere brugere og holde dem engagerede på en bestemt side.

Denne proces involverer stort set test med flere variationer, indsamling af statistik og foretagelse af ændringer baseret på de opnåede værdier / resultater.

Ikke kun begrænset til websteder, men der kræves også multivariat test til mobilapps. Hjemmesider og mobilapps er sammensat af kombinationer af variable elementer, og derfor udføres den multivariate test for at finde ud af, hvilken kombination af variationer der fungerer bedst.

Dette spiller en afgørende rolle i internetmarkedsføringsstrategi.

Typer af MVT-test:

Baseret på fordelingen af ​​trafik til flere versioner er der mange typer af multivariate test der kan udføres:

a) Fuld fakultativ testning:

Det er den mest foretrukne form for MVT-test, hvor enhver mulig kombination af elementvariationer testes ens ved at omdirigere websitetrafik til den, indtil en vinder er fundet. Alle mulige kombinationer gives lige sandsynlighed. Det bedste ved denne metode er, at der ikke er nogen antagelser, og at den er baseret på hårde tal / statistikker, hvilket gør den meget pålidelig og mest anbefalet.

Den eneste ulempe er trafikken. Med stigningen i antallet af forskellige kombinationer kræves der meget webstrafik for at analysere dataene og bestemme vinderen.

b) Fraktioneret eller delvis faktoriel testning:

Som navnet indikerer, er kun en brøkdel af alle versionskombinationer udsat for websitetrafik. Statiske matematiske beregninger og analyser udføres for resten af ​​kombinationerne for at finde den bedste konverteringsfrekvens.

Taguchi-metoden er den mest populære metode til fraktioneret, faktoriel multivariat test. Denne metode giver et mindre nøjagtigt resultat, da kun en prøve af variationerne testes og ikke alle. Selvom denne metode tager kortere tid at analysere vinderen, kan resultatet aldrig betragtes som nøjagtigt som det kan være i tilfælde af Full Factorial-test.

c) Adaptiv multivariat test:

Dette er en ny tilgang til multivariat test. I dette tilfælde analyseres besøgernes realtidsrespons på websiden for at bestemme den bedste variantkombinationsversion.

d) Diskret valg:

Denne metode afdækker interaktionseffekterne, og sig hvordan folk skaber afvejning ud fra en købsbeslutning. Det er en kompleks teknik, som systematisk varierer attributterne eller indholdselementerne.

e) Optimalt design:

Denne metode inkluderer gentagelser og testbølger. Ud over at teste det maksimale antal kreative variationer i minimum tid tillader det også marketingfolk at overveje relationer, interaktioner og begrænsninger på tværs af indholdselementer på et websted eller en app. Dette hjælper med at finde den optimale løsning.

Lad os gå videre til et vigtigt spørgsmål: Kan webmarketing optimeres ved multivariat-test?

Svaret er et rungende 'ja'.

Ved hjælp af multivariat test kan vi klart bestemme, hvad der skal implementeres, og hvad der skal undgås. Alt er fokuseret på den besøgendes oplevelse.

Følgende aspekter overvejes, når multivariat test skal udføres:

# 1. Forudsætningen for multivariat test er at: Definer marketingmål eller undersøge mål for webstedet. Nedenfor er et par eksempler:

• Foretag maksimal indtjening / fortjeneste gennem reklame, salg af produkter, betal for klik.
• Skab brandbevidsthed i kundekreds
• Spar udgifter, fx: Vejled brugerne til selvbetjening gennem ofte stillede spørgsmål i stedet for online, i personlig service.

#to. Kun de ting, der skal testes, der virkelig retter sig mod organisationens markedsføringsmål.

# 3. Vælg kun de elementer, der nøjagtigt måler markedsføringsmålene.

softwaretest genoptager prøver 2 års erfaring

Eksempler kan være:

• For at tjene flere penge skal siderne, der indeholder valgmuligheder som 'Køb nu' / 'betaling' / strømme for at gennemføre en registrering eller tilmelding, fokusere på.
• For at skabe opmærksomhed for besøgende og forfremmelse kan 'send til en ven' / 'henvis en ven' / 'del' osv. Være nyttigt
• For besparelser kan fokus være på elementer som ofte stillede spørgsmål, hjælp, kontakt, opkald, klik på 'Føj til indkøbskurv', der fører til takksider osv.

Hvordan man udfører multivariat test

1. Identificer et problem

Det første trin er at identificere problemet. Dette giver dig forbedringsmulighederne til dit websted eller din app. For eksempel kan problemet være noget, der ligner, hvorfor webstedsbesøgende ikke klikker på download-knappen.

2. Formuler hypotesen

Lav en hypotese til forbedring af websiden. For eksempel kan hypotesen være, at kunder ikke klikker på download-knappen, fordi dens synlighed ikke er tiltalende. Så ved at gøre det tiltalende ville der være øgede downloads.

3. Opret variationer

Vælg faktorer, og opret variationer. Antag, at de to faktorer er overskriften 'Download' og 'PDF-producent' -linket. Som et eksempel har vi under 12 variationer:

4. Bestem din prøvestørrelse

Find ud af, hvor mange besøgende der kræves på hver side, hvor længe du har brug for at køre testen, hvor mange variationer du har, og den statistiske betydning.

5. Test dine værktøjer

Test alt (hovedsageligt fungerer din webside / app fint), før du begynder at køre testen, så intet forgæves dine testresultater.

6. Start med at køre trafik

Begynd at køre trafikken til dine variationer.

7. Analyser dine resultater

Efter at have udført testen i betydelig tid, får du resultaterne til at analysere. Et eksempel er vist nedenfor:

Dem, der har 95% eller mere konfidensniveau, er statistisk signifikante resultater.

8. Lær af dine resultater

Dette er det sidste og et vigtigt skridt. Fra den multivariate test lærer du om dine websider / app og dens besøgende. Du kan bruge denne læring til fremtidige tests.

Bemærk - Pas på følgende ting, når du udfører multivariat test:

Fejl, der skal undgås

1. Forkert valg af varianter . For f.eks. Antag, at vi ændrer skriftstørrelsen, farven og stilen på overskriftsteksten på samme tid under en version af variationskombinationen. Det vil så være vanskeligt at analysere ud fra de modtagne data om, hvilken variation i overskriften (om det er skriftstørrelse, farve eller stil), der fik besøgende til at reagere forskelligt.
2. For kort varighed af en multivariat testkørsel . At afslutte testkørslen tidligt og vælge et lille udvalg af data til analyse af vinderen kan føre til ugyldige statistikker.
3. For lang varighed af en multivariat testkørsel. At køre testen for længe til at analysere marginaldataene fører også til meget spild af tid
4. Forkert forståelse af nøgleindikatorer. Fokusering, analyse og sporing af den variable kombination af de indikatorer, der er ubetydelige eller ikke relaterede til slutmålet
5. Kun et par nøgleindikatorer identificeres, mens mange andre ikke spores
6. Beslutning om typen af ​​besøgende trafik til en webside. Dette kan være meget risikabelt og problematisk, da ikke alle besøgende er ens.
7. Analyserer ikke resultaterne og foretage de rigtige ændringer på siden.

Gør det og ikke må

Fra ovenstående liste, et resumé af do's and Don'ts kunne være:

Må ikke:

Forsøg ikke at medtage mange variabler i testen. Jo mere antallet af variabler, der skal testes; jo større bliver kombinationerne, hvilket igen betyder, at der kræves mere trafik for at indsamle vigtige statistikker.

Gør:

1. Se alle versionskombinationer inden testkørsel startes, fordi nogle af dem kan være uforenelige eller ulogiske. For eksempel er en af ​​de variable kombinationer af overskrift, der siger '50% rabat på abonnement' og fra-knappen, der siger 'Gratis abonnement'. Sådanne bør fjernes.

2. Bestem indvirkningen af ​​kombinationsversioner på konverteringsfrekvensen. Det er kun en god idé at medtage kun de kombinationer, der har større indflydelse på konverteringsfrekvensen.

hvordan man åbner jnlp-filer i Windows 8

3. Anslå websides trafik for at indsamle signifikante statistiske data. Før du starter testkørslen, er det bedre at have en klar idé om websides trafik. Hvis en webside kun har 100-200 besøgende om dagen, skal vi kun overveje et par variabler til udførelse af den multivariate test.

Fordele og ulemper

Indtil nu har vi set, hvad der er multivariat test, hvordan det gøres, fejl, faktorer, må og ikke må osv. Lad os nu se på nogle Fordele og Ulemper af det:

Fordele:

1. Bedre indsigt i og forståelse af effekten af ​​variabler eller elementer på konverteringsfrekvensen Mere trafik fører til flere statistiske data, hvilket igen fører til bedre analyse og beslutningstagning med hensyn til den bedste variabelkombination for at nå det endelige mål.
2. Med hensyn til design og layoutændringer er multivariat test fleksibel.

Ulemper:

1. Multivariate testkørsler tager længere tid at gennemføre.
2. Der kræves masser af websides trafik for at få signifikante statistikker.
3. Mere kompliceret at opsætte testkørsler.
4. Kræver flere antal versioner med variabel kombination til testkørsel.

A / B-test

At være en kort liste over alle ting, der er multivariant, er der ingen ende på de mange forskellige tests, der kan udføres for at udføre websidoptimering, og en anden populær metode, der er tilgængelig, er A / B-test .

Hvad er A / B-test?

( billede kilde)

A / B-test kaldes også undertiden Split test . Opdelte test er dog anderledes. Vi vil se forskellen mellem dem i den senere del af denne vejledning.

I A / B-test sættes to versioner af den samme webside under test med lige stor mængde websides trafik. Den version, der får et maksimalt antal konverteringer, er den ultimative vinder. Denne nye version øger bestemt konverteringsfrekvensen.

A / B Split Testing Eksempel:

Lad os forstå arbejdet med A / B-test med et lille eksempel :

Ovenstående billede er af en webside for sikkerhedsbevidsthed.

Dette billede består af en grå knap, der siger “ Tag en quiz, og vind spændende præmier '. Denne originale webside betragtes som 'En version'. Nu er 'B-version' designet med en variation i farve på knappen fra grå til rød.

Dette vises på billedet nedenfor:

Live websides trafik omdirigeres til begge versioner. Efter at nok besøgende har taget testen, og med de modtagne statistiske data, kan det let bestemmes, hvilken version der har en højere effekt på konverteringsfrekvensen.

Her i eksemplet ovenfor en knap, der siger “ Tag en quiz, og vind spændende præmier ”I rød farve tiltrak flere besøgende til at trykke på knappen og tage en quiz end den ældre grå knap.

Således blev websidens ultimative mål om at øge flere indtægter nået.

Fordele og Ulemper af A / B-test:

Fordele:

1. Nem og enkel metode til opsætning af eksperimenter til optimering af websider.
2. Pålidelige og nøjagtige resultater kan let bestemmes selv med lille webside trafik.
3. Test kan udføres meget hurtigt, og statistiske data kan analyseres for at nå det ultimative mål.
4. Ikke meget afhængig af nogen form for teknologi.
5. Mere egnet til ændringer i layout, indhold, design af enhver webside.

Ulemper:

1. Kun få eller siger et begrænset antal ændringer kan foretages på en webside ad gangen.
2. Det er ikke muligt at bestemme virkningen af ​​forskellige variabler, der findes på en webside, på hinanden.

Sammenligningstabel:

A / B-test vs multivariat-test vs split-test

A / B-test, multivariat test og split test er de tre hovedtyper af UX (brugeroplevelse) varianttest. Lad os se, hvordan de adskiller sig fra hinanden.

De nedenstående to billeder giver dig en meget god illustrativ sammenligning mellem A / B-test og multivariat-test.

Multivariat test

Split test:

Vi har en anden variant her kendt som split URL-test, som er meget mere kompliceret end A / B-test og involverer ændringer på serversiden , hvor vi har to forskellige websider, der testes mod hinanden. Denne type test fungerer godt på destinationssider i tilfælde, hvor designteamet skal beslutte, hvilken der vil fungere bedre.

A / B / Split / Multivariate testværktøjer

Der er mange værktøjer til rådighed på markedet for disse tre typer UX-test. Jeg vil nævne nogle få af de bedste her, som du kan udforske. De er Google Optimize, Optimizely, VMO, Qubit, Maxymiser og AB Tasty.

Konklusion :

Begge metoder, A / B og multivariat test øger konverteringsfrekvensen, forbedrer ydeevnen og optimerer websider og apps. Begge er nyttige på deres egen måde og kommer med deres unikke mangler og udfordringer - det er op til os at identificere og analysere, hvilken metode der bedst passer til kravet.

Vi, testere, er primært involveret i at teste de ændringer, der er foretaget for at implementere Multivariate- eller A / B-tests. Når disse ændringer er foretaget og testet, kan disse køres i produktionsmiljøet af marketing- eller forretningsteamet for at samle resultaterne.

Så det er meget vigtigt, at testere tester disse ændringer meget omhyggeligt, ellers ville de endelige resultater være unøjagtige, hvilket resulterede i enorme forretningstab, da det oftest er direkte relateret til forretningsindtægter.

Anbefalet læsning

• Bedste softwaretestværktøjer 2021 (QA Test Automation Tools)
• Test af Primer eBook Download
• Statisk test og dynamisk test - Forskellen mellem disse to vigtige testteknikker
• Load Testing med HP LoadRunner-vejledninger
• Forskel mellem Desktop, Client Server Testing og Web Testing
• Hvad er gammatestning? Det sidste teststadium
• Hvad er overensstemmelsestest (overensstemmelsestest)?
• Softwaretest QA Assistant Job