MeasuringU: Rating the Severity of Usability Problems

Dacă doar unul din 1000 de utilizatori întâmpină o problemă cu un site web, atunci este o problemă minoră.

Dacă această propoziție v-a deranjat, ar trebui să vă deranjeze.

S-ar putea ca acea singură problemă să fi dus la faptul că informațiile financiare ale unui vizitator au fost postate din greșeală pe site-ul web pentru a fi văzute de toată lumea.

Sau ar putea fi o ușoară ezitare cu o etichetă pe o parte obscură a unui site web.

Este o parte a responsabilității profesioniștilor în domeniul experienței utilizatorilor de a ajuta dezvoltatorii să ia decizii cu privire la ceea ce trebuie reparat.

Contabilizarea frecvenței și gravității problemelor sunt două ingrediente critice atunci când se comunică importanța problemelor de utilizare. Ele sunt, de asemenea, două dintre intrările necesare pentru o Analiză a Modurilor de Defecțiune și Efectelor (FMEA), un proces mai structurat de prioritizare.

Frecvența problemelor

Măsurarea frecvenței unei probleme este, în general, simplă. Luați numărul de utilizatori care se confruntă cu o problemă împărțit la numărul total de utilizatori. De exemplu, dacă 1 din 5 utilizatori întâmpină o problemă, frecvența problemei este de 0,20, sau 20%. Frecvența problemelor poate fi apoi prezentată într-o matrice utilizator-pe-problemă. De asemenea, poate fi utilizată pentru a estima dimensiunea eșantionului necesar pentru a descoperi un anumit procent din probleme.

Gravitatea problemei

Evaluarea gravității unei probleme este mai puțin obiectivă decât aflarea frecvenței problemelor. Există mai multe moduri de a atribui ratinguri de severitate. Am selectat câteva dintre cele mai populare abordări descrise în literatura de specialitate și le voi pune în contrast cu metoda pe care o folosim la Measuring Usability.

În timp ce există diferențe între abordări, în general fiecare metodă propune o structură similară: un set de categorii ordonate care reflectă impactul pe care îl are problema asupra utilizatorului, de la minor la major.

Jakob Nielsen

Jakob Nielsen a propus în urmă cu câteva decenii următoarea scală în patru trepte:

0 = Nu sunt de acord că aceasta este o problemă de utilizabilitate deloc
1 = Doar o problemă cosmetică: nu trebuie rezolvată decât dacă este disponibil timp suplimentar în proiect
2 = Problemă minoră de utilizabilitate: rezolvarea acestei probleme ar trebui să aibă o prioritate scăzută
3 = Problemă majoră de utilizabilitate: este important de rezolvat, deci ar trebui să i se acorde o prioritate mare
4 = Catastrofă de utilizabilitate: este imperios necesar să se rezolve această problemă înainte ca produsul să poată fi lansat

Jeff Rubin

În influenta carte a lui Jeff din 1994, acesta a prezentat următoarea scală pentru gravitatea problemelor:

4: Inutilizabilă: Utilizatorul nu este capabil sau nu va dori să utilizeze o anumită parte a produsului din cauza modului în care a fost proiectat și implementat produsul.
3: Severă: Utilizatorul va utiliza sau va încerca probabil să utilizeze produsul aici, dar va fi sever limitat în capacitatea sa de a face acest lucru.
2: Moderat: Utilizatorul va putea utiliza produsul în majoritatea cazurilor, dar va trebui să depună un efort moderat pentru a ocoli problema.
1: Iritant: Problema apare doar intermitent, poate fi ocolită cu ușurință sau depinde de un standard care se află în afara limitelor produsului. Poate fi, de asemenea, o problemă cosmetică.

Dumas și Redish

Joe Dumas și Ginny Redish, în cartea lor de referință, A Practical Guide to Usability Testing, oferă o clasificare similară cu cea a lui Rubin și Nielsen, dar adaugă o dimensiune globală versus locală a problemelor. Ideea este că, dacă o problemă afectează navigarea globală a unui site web, aceasta devine mai critică decât o problemă locală care afectează, să zicem, doar o pagină.

Nivelul 1: Împiedică finalizarea sarcinii
Nivelul 2: Creează întârzieri și frustrări semnificative
Nivelul 3: Problemele au un efect minor asupra utilizabilității
Nivelul 4: Îmbunătățiri/sugestii subtile și posibile

Chauncey Wilson

Chauncey Wilson sugerează că scalele de severitate a utilizabilității ar trebui să se potrivească cu ratingul de severitate al sistemelor de urmărire a erorilor dintr-o companie. El oferă o scală în cinci puncte cu următoarele niveluri. Anterior, el a folosit o variantă similară cu patru puncte.

Nivelul 1: Eroare catastrofală care cauzează pierderea irevocabilă de date sau deteriorarea hardware-ului sau software-ului. Problema ar putea duce la defecțiuni pe scară largă care să împiedice multe persoane să își facă treaba. Performanța este atât de proastă încât sistemul nu poate îndeplini obiectivele de afaceri.
Nivelul 2: Problemă severă, care cauzează posibile pierderi de date. Utilizatorul nu are nicio soluție de rezolvare a problemei. Performanța este atât de slabă încât sistemul este considerat în mod universal ca fiind „jalnic”.
Nivelul 3: Problemă moderată care nu cauzează pierderi permanente de date, dar pierderi de timp. Există o soluție de rezolvare a problemei. Inconsecvențele interne duc la creșterea ratelor de învățare sau de eroare. O funcție sau o caracteristică importantă nu funcționează conform așteptărilor.
Nivelul 4: Problemă minoră, dar iritantă. În general, provoacă pierderi de date, dar problema încetinește ușor utilizatorii. Există încălcări minime ale orientărilor care afectează aspectul sau percepția și greșeli care pot fi recuperate.
Nivelul 5: Eroare minimă. Problema este rară și nu provoacă pierderi de date sau pierderi majore de timp. Problemă cosmetică sau de coerență minoră.

Balanțele Wilson și Dumas & Roșu au problema mai severă cu numere mai mici. Acest lucru se datorează faptului că, la începuturile informaticii, erorile grave se numeau „erori de nivel 1” și acestea trebuiau să fie rezolvate înainte de lansarea produsului (Dumas, comunicare personală 2013). În această scală, problemele sunt definite în termeni de pierdere de date, mai degrabă decât în ceea ce privește impactul lor asupra performanței sau stării emoționale a utilizatorilor.

Molich & Jeffries

Rolf Molich este faimos pentru seria sa de evaluări comparative ale utilizabilității (CUE). El este, de asemenea, faimos pentru revizuirea și scrie (adesea critic) despre calitatea rapoartelor de uzabilitate. El și Robin Jeffries au oferit o scală în trei puncte.

1. 1. Minor: întârzie utilizatorul pentru scurt timp.
2. Grav: întârzie utilizatorul în mod semnificativ, dar îi permite în cele din urmă să finalizeze sarcina.
3. Catastrofal: împiedică utilizatorul să își finalizeze sarcina.

Această abordare în trei puncte este mai simplă decât altele, dar tinde să se bazeze foarte mult pe modul în care problema afectează timpul alocat sarcinii.

Abordarea noastră

La început am început cu o scală de evaluare în 7 puncte în care evaluatorii au atribuit gravității problemei o valoare de la cosmetică (1) la catastrofală (7), dar am constatat că era dificil să distingem cu ușurință între nivelurile 2 și 6. Am redus acest lucru la o scală de patru puncte similară cu Rubin, Nielsen și Dumas/Redish de mai sus și le-am tratat mai mult ca pe niște categorii decât ca pe un continuum.

În timp ce a existat mult mai puțină ambiguitate cu patru puncte, am constatat în continuare o distincție neclară între cele două niveluri de mijloc atât în atribuirea gravității, cât și în raportarea nivelurilor de probleme către clienți.

Așa că am redus scala noastră de severitate la doar trei niveluri, împreună cu unul pentru insight-uri, sugestii ale utilizatorilor sau atribute pozitive.

1. Minor: Provoacă o oarecare ezitare sau o ușoară iritare.
2. Moderat: Cauzează eșecuri ocazionale ale sarcinilor pentru unii utilizatori; provoacă întârzieri și iritare moderată.
3. Critic: Duce la eșecul sarcinii. Provoacă o iritare extremă a utilizatorului.

Inspirație/Sugestie/Pozitiv: Utilizatorii menționează o idee sau o observație care îmbunătățește sau ar putea îmbunătăți experiența generală.

Rezumat

Am pus versiuni prescurtate ale acestor scale mai jos, în tabel, pentru a arăta asemănările dintre unii dintre termeni și niveluri. De asemenea, am aliniat scalele astfel încât numerele mai mari să indice probleme mai grave.

Câteva lecții din aceste niveluri de gravitate a problemelor:

1. Nu vă obsedați să găsiți numărul corect de categorii sau etichete: Trei categorii sunt probabil suficiente, dar îmbinarea scalelor cu nivelurile de urmărire a problemelor sau existența mai multor niveluri pentru a genera mai multă implicare internă sunt ambele motive legitime pentru a avea mai multe puncte. Odată ce ați ales un sistem, încercați să rămâneți la el pentru a permite compararea în timp.
2. Vor exista în continuare dezacorduri între evaluatori și decizii de judecată: Acestea sunt ghiduri aproximative, nu instrumente precise. Evaluatori diferiți nu vor fi de acord, în ciuda clarității nivelurilor de severitate. Una dintre cele mai bune abordări este ca mai mulți evaluatori să evalueze gravitatea în mod independent, să calculeze acordul și apoi să facă o medie a evaluărilor.
3. Numerele atribuite fiecărui nivel sunt oarecum arbitrare: Nu vă obsedați prea mult dacă problemele de gravitate mai mare ar trebui să aibă numere mai mari sau mai mici. Eu le prefer pe acestea din urmă, dar ordinea este cea care are sens. În timp ce intervalele dintre gradele de severitate 1, 2 și 3 sunt probabil diferite, rangurile pot fi folosite pentru analize suplimentare atunci când se compară diferiți evaluatori sau gravitatea și frecvența problemelor.
4. Nu uitați de aspectele pozitive: Dumas, Molich & Jeffries & Jeffries a scris un articol convingător în care vorbește despre necesitatea de a evidenția constatările pozitive. În timp ce un test de utilizabilitate este de obicei menit să descopere probleme, înțelegerea aspectelor pozitive încurajează dezvoltatorii și nu vă face pe dumneavoastră sau pe echipa dumneavoastră să păreți a fi vestitorii constanți de vești proaste.
5. Tratați frecvența separat de severitate: Raportăm frecvența unei probleme împreună cu gravitatea acesteia. Când este posibil, punem un analist separat să evalueze gravitatea unei probleme fără a cunoaște frecvența acesteia – un subiect pentru un blog viitor.