MeasuringU: Rating the Severity of Usability Problems (Käytettävyysongelmien vakavuuden arviointi)

Jos vain yksi käyttäjä 1000:sta kohtaa ongelman verkkosivustolla, kyseessä on vähäinen ongelma.

Jos tuo lause häiritsi sinua, niin sen pitäisikin häiritä.

Voi olla, että tuon yhden ainoan ongelman seurauksena yhden kävijän taloudelliset tiedot päätyivät epähuomiossa verkkosivuille koko maailman nähtäväksi.

Vai voisiko se olla pieni epäröinti verkkosivuston epämääräisen osan merkinnän kanssa.

Käyttäjäkokemuksen ammattilaisten vastuulla on auttaa kehittäjiä tekemään päätöksiä siitä, mitä pitää korjata.

Ongelmien esiintymistiheyden ja vakavuuden huomioon ottaminen ovat kaksi kriittistä osatekijää, kun viestitään käytettävyysongelmien tärkeydestä. Ne ovat myös kaksi syötettä, joita tarvitaan vikamuotojen ja vaikutusten analyysissä (FMEA, Failure Modes Effects Analysis), joka on strukturoidumpi priorisointiprosessi.

Obgelman esiintymistiheys

Ongelman esiintymistiheyden mittaaminen on yleensä yksinkertaista. Otetaan ongelman kohdanneiden käyttäjien määrä jaettuna käyttäjien kokonaismäärällä. Jos esimerkiksi 1 käyttäjä viidestä kohtaa ongelman, ongelman esiintymistiheys on 0,20 eli 20 %. Ongelmien esiintymistiheys voidaan sitten esittää käyttäjäkohtaisena matriisina. Sitä voidaan käyttää myös arvioitaessa otoskokoa, joka tarvitaan tietyn prosenttiosuuden löytämiseksi ongelmista.

Ongelman vakavuus

Ongelman vakavuuden arviointi ei ole yhtä objektiivista kuin ongelman esiintymistiheyden määrittäminen. On olemassa useita tapoja antaa vakavuusluokituksia. Olen valinnut muutamia kirjallisuudessa kuvattuja suosituimpia lähestymistapoja, ja asetan ne vastakkain Measuring Usability -yrityksessä käyttämämme menetelmän kanssa.

Vaikka lähestymistavoissa on eroja, yleisesti ottaen kaikissa menetelmissä ehdotetaan samankaltaista rakennetta: joukko järjestettyjä luokkia, jotka heijastavat ongelman vaikutusta käyttäjään, vähäisestä suureen.

Jakob Nielsen

Jakob Nielsen ehdotti muutama vuosikymmen sitten seuraavaa neliportaista asteikkoa:

0 = En ole lainkaan samaa mieltä siitä, että kyseessä on käytettävyysongelma
1 = Pelkkä kosmeettinen ongelma: ei tarvitse korjata, ellei projektiin ole varattu lisäaikaa
2 = Vähäinen käytettävyysongelma: Tämän korjaaminen olisi asetettava alhaiselle prioriteetille
3 = Merkittävä käytettävyysongelma: Tärkeä korjata, joten se olisi asetettava korkealle prioriteetille
4 = Käytettävyyskatastrofi: Tämä on ehdottomasti korjattava, ennen kuin tuote voidaan julkaista

Jeff Rubin

Jeff Rubinin vaikutusvaltaisessa kirjassa vuodelta 1994 hän hahmotteli ongelman vaikeusasteen seuraavalla asteikolla:

4: Käyttökelvoton: Käyttäjä ei pysty tai halua käyttää tiettyä tuotteen osaa sen suunnittelu- ja toteutustavan vuoksi.
3: Vakava: Käyttäjä todennäköisesti käyttää tai yrittää käyttää tuotetta tässä, mutta hänen kykynsä siihen on vakavasti rajoitettu.
2: Kohtalainen: Käyttäjä pystyy käyttämään tuotetta useimmissa tapauksissa, mutta joutuu tekemään jonkin verran kohtalaisia ponnisteluja ongelman kiertämiseksi.
1: Ärsyttävä: Ongelma esiintyy vain ajoittain, se voidaan kiertää helposti tai se on riippuvainen standardista, joka on tuotteen rajojen ulkopuolella. Voi olla myös kosmeettinen ongelma.

Dumas ja Redish

Joe Dumas ja Ginny Redish tarjoavat uraauurtavassa kirjassaan A Practical Guide to Usability Testing (Käytettävyystestauksen käytännön opas) samanlaisen luokittelun kuin Rubin ja Nielsen, mutta lisäävät ongelmiin globaalin ja paikallisen ulottuvuuden. Ajatuksena on, että jos ongelma vaikuttaa verkkosivuston maailmanlaajuiseen navigointiin, siitä tulee kriittisempi kuin paikallisesta ongelmasta, joka vaikuttaa esimerkiksi vain yhteen sivuun.

Taso 1: Estää tehtävän suorittamisen
Taso 2: Aiheuttaa merkittävää viivettä ja turhautumista
Taso 3: Ongelmilla on vähäinen vaikutus käytettävyyteen
Taso 4: Hienovarainen ja mahdollisia parannuksia/ehdotuksia

Chauncey Wilson

Chauncey Wilson ehdottaa, että käytettävyyden vakavuusasteikoiden tulisi olla yhteneviä yrityksen vikojen seurantajärjestelmien vakavuusluokitusten kanssa. Hän tarjoaa viisiportaista asteikkoa, jossa on seuraavat tasot. Aiemmin hän on käyttänyt vastaavaa neliportaista vaihtoehtoa.

Taso 1: Katastrofaalinen virhe, joka aiheuttaa peruuttamatonta tietojen menetystä tai laitteiston tai ohjelmiston vaurioitumista. Ongelma voi johtaa laajamittaisiin vikoihin, jotka estävät monia ihmisiä tekemästä työtään. Suorituskyky on niin huono, että järjestelmä ei pysty saavuttamaan liiketoimintatavoitteita.
Taso 2: Vakava ongelma, joka aiheuttaa mahdollisen tietojen menetyksen. Käyttäjällä ei ole ratkaisua ongelmaan. Suorituskyky on niin huono, että järjestelmää pidetään yleisesti ”säälittävänä”.
Taso 3: Kohtalainen ongelma, joka ei aiheuta pysyvää tietojen menetystä, mutta ajanhukkaa. Ongelmaan on olemassa ratkaisu. Sisäiset epäjohdonmukaisuudet johtavat oppimis- tai virhemäärien kasvuun. Tärkeä toiminto tai ominaisuus ei toimi odotetulla tavalla.
Taso 4: Vähäinen mutta ärsyttävä ongelma. Yleensä se aiheuttaa tietojen menetystä, mutta ongelma hidastaa käyttäjiä hieman. Ohjeiden rikkomukset, jotka vaikuttavat ulkonäköön tai hahmottamiseen, ovat vähäisiä, ja virheet ovat korjattavissa.
Taso 5: Vähäinen virhe. Ongelma on harvinainen eikä aiheuta tietojen menetystä tai merkittävää ajanhukkaa. Vähäinen kosmeettinen tai johdonmukaisuusongelma.

Wilsonin ja Dumas’n & punertavilla asteikoilla on vakavampi ongelma pienemmillä numeroilla. Tämä johtuu siitä, että tietojenkäsittelyn alkuaikoina vakavia virheitä kutsuttiin ”tason 1 virheiksi”, ja ne oli korjattava ennen tuotteen julkaisua (Dumas, henkilökohtainen tiedonanto 2013). Tässä asteikossa ongelmat määritellään datan häviämisen eikä niiden vaikutuksen perusteella käyttäjien suorituskykyyn tai tunnetilaan.

Molich & Jeffries

Rolf Molich on kuuluisa vertailevien käytettävyysarviointien (CUE) sarjasta. Hän on kuuluisa myös siitä, että hän arvioi ja kirjoittaa (usein kriittisesti) käytettävyysraporttien laadusta. Hän ja Robin Jeffries tarjosivat kolmiportaisen asteikon.

1. Vähäinen: viivästyttää käyttäjää lyhyesti.
2. Vakava: viivästyttää käyttäjää merkittävästi, mutta mahdollistaa lopulta tehtävän suorittamisen.
3. Katastrofaalinen: estää käyttäjää suorittamasta tehtäväänsä.

Tämä kolmiportainen lähestymistapa on yksinkertaisempi kuin muut, mutta sillä on taipumus tukeutua vahvasti siihen, miten ongelma vaikuttaa tehtävään kuluvaan aikaan.

Meidän lähestymistapamme

Alun perin aloitimme 7-kohtaisella arviointiasteikolla, jossa arvioijat antoivat ongelman vakavuudelle arvon kosmeettisesta (1) katastrofaaliseen (7), mutta huomasimme, että tasojen 2 ja 6 välillä oli vaikea tehdä helppoa eroa. Pelkistimme tämän nelipisteiseksi asteikoksi, joka on samanlainen kuin edellä mainittu Rubinin, Nielsenin ja Dumas/Redisin asteikko, ja käsittelimme niitä pikemminkin kategorioina kuin jatkumona.

Vaikka neljän pisteen asteikolla oli paljon vähemmän epäselvyyksiä, havaitsimme edelleen, että kahden keskimmäisen tason välinen ero oli epäselvä sekä ongelmien vaikeusasteen määrittelyssä että ongelmien vaikeusasteiden raportoinnissa asiakkaalle.

Siten supistimme vakavuusasteikkomme vain kolmeen tasoon sekä yhteen tasoon oivalluksille, käyttäjien ehdotuksille tai positiivisille ominaisuuksille.

1. Vähäinen: Aiheuttaa epäröintiä tai lievää ärsytystä.
2. Kohtalainen: Aiheuttaa satunnaista tehtävän epäonnistumista joillekin käyttäjille; aiheuttaa viivytyksiä ja kohtalaista ärtymystä.
3. Kriittinen: Johtaa tehtävän epäonnistumiseen. Aiheuttaa käyttäjälle äärimmäistä ärtymystä.

Osoitus/ehdotus/positiivinen: Käyttäjät mainitsevat idean tai havainnon, joka parantaa tai voisi parantaa yleistä käyttökokemusta.

Yhteenveto

Olen laittanut taulukkoon lyhennetyt versiot näistä asteikoista osoittaakseni joidenkin termien ja tasojen samankaltaisuuden. Olen myös yhdenmukaistanut asteikot niin, että korkeammat numerot osoittavat vakavampia ongelmia.

Joitakin oppeja näistä ongelman vakavuusasteista:

1. Älä yritä pakkomielteisesti löytää oikeaa määrää luokkia tai merkintöjä: Kolme luokkaa on luultavasti riittävä, mutta asteikkojen yhdistäminen vikaseurantatasoihin tai useampien tasojen lisääminen sisäisen hyväksynnän lisäämiseksi ovat molemmat perusteltuja syitä useampien pisteiden käyttöön. Kun olet valinnut järjestelmän, yritä pitäytyä siinä, jotta voit vertailla sitä ajan mittaan.
2. Arvioijien välisiä erimielisyyksiä ja arvostelukyvyttömyyksiä tulee edelleen olemaan: Nämä ovat karkeita oppaita, eivät tarkkoja välineitä. Eri arvioijien välillä on erimielisyyksiä vakavuusasteiden selkeydestä huolimatta. Yksi parhaista lähestymistavoista on, että useat arvioijat arvioivat vakavuuden itsenäisesti, laskevat yhteisymmärryksen ja laskevat sitten arvosanojen keskiarvon.
3. Kullekin tasolle annetut numerot ovat jokseenkin mielivaltaisia: Älä mieti liikaa, pitäisikö korkeamman vaikeusasteen ongelmilla olla korkeammat vai matalammat numerot. Suosin jälkimmäistä, mutta järjestyksellä on merkitystä. Vaikka vaikeusasteiden 1, 2 ja 3 välit ovat todennäköisesti erilaiset, sijoituksia voidaan käyttää lisäanalyyseihin, kun verrataan eri arvioijia tai ongelmien vakavuutta ja esiintymistiheyttä.
4. Älä unohda positiivisia asioita: Dumas, Molich & Jeffries kirjoitti vakuuttavan artikkelin, jossa puhutaan positiivisten havaintojen korostamisen tarpeesta. Vaikka käytettävyystestin tarkoituksena on yleensä paljastaa ongelmia, positiivisten asioiden ymmärtäminen rohkaisee kehittäjiä eikä tee sinusta tai tiimistäsi jatkuvaa huonojen uutisten sanansaattajaa.
5. Käsittele frekvenssiä erikseen vakavuudesta: Raportoimme ongelman esiintymistiheyden yhdessä sen vakavuuden kanssa. Jos mahdollista, annamme erillisen analyytikon arvioida ongelman vakavuuden tietämättä sen esiintymistiheyttä – tämä on tulevan blogin aihe.