Reja e Inteligjencës Optimizely: Si të përdorni motorin e statistikave për të testuar A/B më të zgjuar dhe më të shpejtë

Optimizely Stats Engine dhe A/B Strategjitë e Testimit

Nëse jeni duke kërkuar të drejtoni një program eksperimentimi për të ndihmuar biznesin tuaj të testojë dhe mësojë, ka shumë mundësi që po përdorni Reja e Inteligjencës Optimizely - ose të paktën e keni parë atë. Optimizely është një nga mjetet më të fuqishme në lojë, por si çdo mjet i tillë, mund ta përdorni gabim nëse nuk e kuptoni se si funksionon. 

Çfarë e bën Optimizely kaq të fuqishme? Në thelbin e grupit të tij të veçorive qëndron motori më i informuar dhe intuitiv i statistikave në një mjet të palëve të treta, duke ju lejuar të përqendroheni më shumë në marrjen e testeve të rëndësishme drejtpërdrejt-pa pasur nevojë të shqetësoheni se po keqinterpretoni rezultatet tuaja. 

Ashtu si një studim tradicional i verbër në mjekësi, A / B testimi rastësisht do të shfaqen të ndryshme trajtimet e faqes tuaj me përdorues të ndryshëm për të krahasuar më pas efikasitetin e secilit trajtim. 

Statistikat pastaj na ndihmojnë të nxjerrim përfundime se sa efektiv mund të jetë ai trajtim në planin afatgjatë. 

Shumica e mjeteve të testimit A/B mbështeten në një nga dy llojet e përfundimeve statistikore: statistikat frekuenciste ose Bayesian. Çdo shkollë ka të mirat dhe të këqijat e ndryshme - Statistikat frekuenciste kërkojnë që një madhësi e mostrës të fiksohet para fillimit të një eksperimenti, dhe statistikat Bayesian kryesisht kujdesen për marrjen e vendimeve të mira drejtuese në vend që të specifikojnë ndonjë shifër të vetme për ndikim, për të përmendur dy shembuj. Superfuqia e Optimizely është se është mjeti i vetëm në treg sot për të marrë një më i miri nga të dy botët qasje.

Rezultati përfundimtar? Optimizely u mundëson përdoruesve të kryejnë eksperimente më shpejt, më me besueshmëri dhe më intuitivisht.

Për të përfituar plotësisht nga kjo, megjithatë, është e rëndësishme të kuptoni se çfarë po ndodh prapa skenave. Këtu janë 5 njohuri dhe strategji që do t'ju bëjnë të përdorni aftësitë e Optimizely si një profesionist.

Strategjia #1: Kuptoni që jo të gjitha metrikat janë krijuar të barabarta

Në shumicën e mjeteve të testimit, një çështje që anashkalohet zakonisht është se sa më shumë metrikë që shtoni dhe gjurmoni si pjesë e testit tuaj, aq më shumë ka gjasa që të shihni disa përfundime të pasakta për shkak të rastësisë së rastësishme (në statistika, ky quhet "problem i testimit të shumëfishtë ”). Për të mbajtur rezultatet e tij të besueshme, Optimizely përdor një seri kontrollesh dhe korrigjimesh për të mbajtur shanset që kjo të ndodhë sa më e ulët. 

Ato kontrolle dhe korrigjime kanë dy implikime kur shkoni për të vendosur teste në Optimizely. Së pari, metrika që ju përcaktoni si tuajat Metrikë primare do të arrijë rëndësinë statistikore më së shpejti, të gjitha gjërat e tjera konstante. Së dyti, sa më shumë metrikë të shtoni në një eksperiment, aq më shumë metrikë tuaj të mëvonshëm do të marrë për të arritur rëndësinë statistikore.

Kur planifikoni një eksperiment, sigurohuni që e dini se cila metrikë do të jetë Veriu juaj i Vërtetë në procesin tuaj të vendimmarrjes, bëni atë Metrikën tuaj Parësore. Pastaj, mbajeni pjesën tjetër të listës tuaj të matjeve të dobët duke hequr çdo gjë që është shumë e tepërt ose tangjenciale.

Strategjia #2: Ndërtoni atributet tuaja personale

Optimizely është e shkëlqyeshme për t'ju dhënë disa mënyra interesante dhe të dobishme për të segmentuar rezultatet e eksperimentit tuaj. Për shembull, mund të shqyrtoni nëse trajtime të caktuara funksionojnë më mirë në desktop kundrejt celularit, ose të vëzhgoni dallimet në burimet e trafikut. Ndërsa programi juaj i eksperimentimit maturohet, shpejt do të dëshironi segmente të reja-këto mund të jenë specifike për rastin tuaj të përdorimit, si segmentet për blerjet e njëhershme kundrejt abonimit, ose aq të përgjithshme sa "vizitorët e rinj kundrejt atyre që kthehen" (të cilat, sinqerisht, ne ende nuk mund ta kuptojmë pse kjo nuk ofrohet jashtë kutisë).

Lajm i mirë është se përmes fushës së Projektit Javascript të Optimizely, inxhinierët e njohur me Optimizely mund të ndërtojnë çdo numër atributesh interesante me porosi që vizitorëve mund t'u caktohen dhe segmentohen. Në Cro Metrics, ne kemi ndërtuar një numër të moduleve të aksioneve (si "vizitorët e rinj kundrejt atyre që kthehen") që i instalojmë për të gjithë klientët tanë përmes Projektit Javascript të tyre. Përdorimi i kësaj aftësie është një diferencues kryesor midis ekipeve të pjekura që kanë burimet e duhura teknike për t'i ndihmuar ata të ekzekutojnë dhe skuadrave që luftojnë për të realizuar potencialin e plotë të eksperimentimit.

Strategjia #3: Eksploroni Përshpejtuesin e Statistikave të Optimizely

Një tipar i mjeteve të testimit shpesh të mbipopulluara është aftësia për të përdorur "banditë me shumë armë", një lloj algoritmi i mësimit të makinerisë që ndryshon në mënyrë dinamike aty ku trafiku juaj ndahet gjatë një eksperimenti, për të dërguar sa më shumë vizitorë tek "fituesi" variacion sa të jetë e mundur. Çështja me banditët me shumë armë është se rezultatet e tyre nuk janë tregues të besueshëm të performancës afatgjatë, kështu që rasti i përdorimit për këto lloj eksperimentesh janë të kufizuara në raste të ndjeshme ndaj kohës, si promovimet e shitjeve.

Optimizely, megjithatë, ka një lloj tjetër algoritmi bandit të disponueshëm për përdoruesit në planet më të larta - Stats Accelerator (i njohur tani si opsioni "Përshpejtoni Mësimet" brenda Banditëve). Në këtë konfigurim, në vend që të përpiqet të shpërndajë në mënyrë dinamike trafikun në variacionin me performancën më të lartë, Optimizely shpërndan në mënyrë dinamike trafikun në variacionet që ka të ngjarë të arrijnë rëndësinë statistikore më shpejt. Në këtë mënyrë, ju mund të mësoni më shpejt dhe të ruani përsëritshmërinë e rezultateve tradicionale të testit A/B.

Strategjia #4: Shtoni emoji tek emrat tuaj metrikë

Në shikim të parë, kjo ide ndoshta tingëllon pa vend, madje edhe e pakuptimtë. Sidoqoftë, një aspekt kryesor për t'u siguruar që po lexoni rezultatet e duhura të eksperimentit fillon duke u siguruar që auditori juaj mund ta kuptojë pyetjen. 

Ndonjëherë pavarësisht përpjekjeve tona më të mira, emrat metrikë mund të bëhen konfuzë (prisni - a ndizet ai metrik kur pranohet porosia, ose kur përdoruesi godet faqen e falënderimit?), Ose një eksperiment ka kaq shumë metrikë që rrotullohen lart e poshtë rezultatet faqe çon në mbingarkesë totale njohëse.

Shtimi i emoji -t tek emrat tuaj të metrikës (objektivat, shenjat e kontrollit të gjelbër, madje edhe çanta e madhe e parave mund të funksionojë) mund të rezultojë në faqe që janë shumë më të skanueshme. 

Na besoni - leximi i rezultateve do të jetë shumë më i lehtë.

Strategjia #5: Rishqyrtoni Nivelin tuaj të Rëndësisë Statistikore

Rezultatet konsiderohen përfundimtare në kontekstin e një eksperimenti Optimizely kur të kenë arritur domethënia statistikoreMe Rëndësia statistikore është një term i fortë matematikor, por në thelb është probabiliteti që vëzhgimet tuaja të jenë rezultat i një ndryshimi të vërtetë midis dy popullatave, dhe jo vetëm një rastësie të rastit. 

Nivelet e raportuara të rëndësisë statistikore të Optimizely janë "gjithmonë të vlefshme" falë një koncepti matematikor të quajtur testimi vijues - kjo në fakt i bën ata shumë më të besueshëm se ato të mjeteve të tjera të testimit, të cilat janë të prirura për të gjitha llojet e çështjeve "përgjuese" nëse i lexoni ato shumë shpejt.

Vlen të merret parasysh se çfarë niveli të rëndësisë statistikore ju e konsideroni të rëndësishme për programin tuaj të testimit. Ndërsa 95% është konventa në komunitetin shkencor, ne po testojmë ndryshimet në uebfaqe, jo vaksinat. Një zgjedhje tjetër e zakonshme në botën eksperimentale: 90%. Por a jeni gati të pranoni pak më shumë pasiguri në mënyrë që të bëni eksperimente më shpejt dhe të provoni më shumë ide? A mund të përdorni 85% apo edhe 80% domethënie statistikore? Duke qenë i qëllimshëm në lidhje me bilancin tuaj të rrezikut dhe shpërblimit mund të paguani dividentë eksponencialë me kalimin e kohës, kështu që mendojeni këtë me kujdes.

Lexoni më shumë rreth Optimizely Intelligence Cloud

Këto pesë parime dhe njohuri të shpejta do të jenë tepër të dobishme për tu mbajtur në mend gjatë përdorimit të Optimizely. Ashtu si me çdo mjet, ai përfundon duke u siguruar që keni një kuptim të mirë të të gjitha personalizimeve të prapaskenave, kështu që mund të siguroheni që po e përdorni mjetin në mënyrë efikase dhe efektive. Me këto kuptime, ju mund të merrni rezultate të besueshme që kërkoni, kur keni nevojë për to. 

Çfarë mendoni ju?

Kjo faqe përdor Akismet për të reduktuar spamin. Mësoni se si përpunohet komenti juaj.