Measuring UX

Als managing UX consultant en service designer wil ik graag meer theoretische kennis opbouwen om mijn advies en designwerk te ondersteunen.

Vandaag was ik daarvoor op de Nielssen Norman Group UX conferentie bij de cursus “Measuring UX” door Kate Meyer. Zij heeft is een gedegen UX researcher.

Meten is weten

Waarom zou je gebruiksvriendelijkheid willen meten? natuurlijk om te weten of het beter kan. Want alleen gebruiksvriendelijke websites, apps etc zullen door worden aangeraden door anderen.

Je kan kwalitatieve en kwantitatieve metingen doen . Kwantitatieve webanalyse, zoals bijv Google Analytics viel voor nu even buiten de cursus, ook al kan je daar ook een hele hoop interessante gegevens uit halen die pijnpunten kunnen duiden en succescriteria kunnen onderbouwen.

Kwalitatieve analyse zijn vaak metingen waar kleinere aantallen een goede basis geven om door te vragen naar wat gebruikers verwachten, denken en doen bij het uitvoeren of evalueren van een taak. Ideaal om tussendoor uit te voeren

Kwantitatieve analyse

Kwantitatieve analyses zijn vaak metingen met grotere aantallen die pas statistisch interessant zijn als de uitkomsten te vergelijken zijn. Dit kunnen (gemodereerde- of ongemodereerde-, live- of op-afstand-) gebruikerstesten zijn met duidelijke en specifieke opdrachten die alleen maar een “afgerond” of “niet afgerond” kunnen opleveren, naast uiteraard de tijd die het duurde en de ervaren moeite die het koste. Door de grotere kosten die dit met zich mee brengt zijn dit soort testen beter geschikt voor benchmarking (voor en na een project, vergelijk met de markt, etc)

Middels enige diepgravende wiskunde -waarin de sample size, de standaarddeviatie, het betrouwbaarheidniveau, de betrouwbaarheidsmarge centraal stonden-   legde ze uit dat voor betrouwbare resultaten voor deze testen ongeveer 400 participanten nodig zijn (per test, dus bij splitsing in meerdere doelgroepen, meerdere varianten etc, nog meer) . Dit uitgaande van een foutmarge van 5% en een 95% zekerheid van het resultaat. Als je 10% foutmarge accepteert kan je al met 100 mensen vooruit. Bij testen waar veel geld, belang of bijv gezondheid op het spel staat is het natuurlijk belangrijk de foutmarge zo klein mogelijk te maken.

Kwalitatieve onderzoeken

Voor kwalitatieve onderzoeken is 5 tot 8 personen (per doelgroep) een prima aantal. Met Morea (niet goedkoop) bijvoorbeeld kan je op afstand meekijken (en notuleren) terwijl de moderator op een eigen scherm mee kan kijken. Als je met twee of meer moderatoren werkt neemt ook de kans toe dat er meer fouten worden gevonden. Iedereen let namelijk weer op andere dingen.

Met Tobii (erg duur) kan je tevens oogbewegingen meenemen, en daar iets van vinden.  Heb je dat budget niet, laat je niet weerhouden en doe de test lo-fi (gewoon een laptop met opneemsoftware)  en met minder deelnemers. Je vindt er vast UX fouten mee.

En eyetracking is sowieso overated vind ik persoonlijk, omdat het vooral iets zegt over waar mensen naar staren….

Dit betekent niet dat je met kleinere aantallen geen UX fouten vindt overigens. Het vergelijken van scores wordt alleen lastiger.

Andere kwantitatieve methoden NA gebruik.

Andere kwantitatieve methoden zijn bijv de SUS score en de NPS score, respectievelijk in 10 vragen en in 1 vraag wordt uitgevraagd of de website of app bevalt. Dit kan je doen NA gebruik. Je kan ook eigen questionnaires opstellen, maar die kan je dan lastiger vergelijken met de markt.

Zelf kan ik aanraden om te experimenteren met bijv de vraag: “was deze informatie nuttig voor u” te plaatsen op informatieve pagina’s. Je kan dan wekelijks of maandelijks een lijstje maken met minst presterende pagina’s en geprioriteerd op de scores en de aantallen dat deze pagina bezocht wordt, plannen maken voor verbetering.

Wat kan je ermee?

Met uitkomsten van UX metingen kan je vergelijken of je  nieuwe ontwerp een verbetering is ten opzichten van de oude of die van de concurrent.  Ook kan je kijken hoeveel tijd een nieuw ontwerp scheelt (en dus geld) of hoeveel verbeterruimte er nog is.

Uiteraard zijn cijfers alleen niet genoeg. Als je ze goed visueel weet te presenteren kan je beslissingen beïnvloeden op board niveau.

Al met al een goede opfrissing van de basiskennis en dankzij de wiskundecolleges tussendoor een zeer goed om te weten hoe de berekeningen tot stand komen en hoe je bijv valsspelers er uit kunt vissen (die alleen maar meedoen voor het geld). Met duidelijke uitleg en ruimte voor vragen en een grapje wist ze in 1 dag bijzonder veel onderwerpen te raken en samen te oefenen. Een aanrader. Tip: slaap wel goed uit van tevoren. Je hersenen zullen het nodig hebben.

Nuttige links:

• Jeff Sauro’s website, Measuring U https://measuringu.com/calc/  -> Handige rekentools voor betrouwbaarheid etc.
• Checklist for choosing a tool : https://www.nngroup.com/articles/unmoderated-user-testing-tools/
• voorbeelden:
  • UserZoom.com
  • loop11.com
  • WhatUsersDo.com
  • UserTesting.com
  • WebEffective.keynote.com
  • OpenHallway.com
  • TryMyUI.com
  • validately.com
  • userlytics.com

• Satisfaction scores and continuous measures – http://archive.is/R6VPw

• Log transform of the time data, then – http://archive.is/R6VPw

• Success and other binary measures – https://measuringu.com/calc/