Ingénierie et Conseil en Cognitique

Ingénierie et Conseil en Cognitique

Méthode RITE de tests utilisateurs

Comment entreprendre la méthode RITE (Rapid Iterative Testing and Evaluation), en opposition aux tests utilisateurs habituels ?

Cet article se propose comme une réponse à cette interrogation et se concentre sur l’analyse et l’exploitation des résultats des tests.

Remarque : La méthode RITE, définie formellement par les équipes de Microsoft, est présentée dans cet article en comparaison à des tests utilisateurs classiques.

Les aspects théoriques abordés sont illustrés par l’exemple de l’application de la méthode RITE au tutoriel du jeu Age Of Empire II de Microsoft, jeu de stratégie en temps réel (RTS) sorti en 1999 sur PC. La méthode RITE s’est montrée particulièrement efficace pour ce tutoriel, qui a été acclamé par la presse du jeu-vidéo, et a reçu un prix d’excellence de la Society of Technical Communication. De plus, le jeu en lui-même a eu beaucoup de succès et le nombre d’exemplaires vendus a presque doublé par rapport au premier du nom, dans un délai similaire. Il a atteint des marchés plus larges, incluant très certainement de nombreux joueurs sans expérience préalable avec les jeux RTS (la cible visée par le tutoriel).

Analyse des résultats des tests


La première distinction des tests RITE réside dans le système d’assimilation et de traitement des problèmes de l’interface découverts lors des tests utilisateurs.

Mesures

 

Les mesures associées aux tests proviennent des observations pour chaque participant de :

  • ses échecs, qui correspondent à des erreurs de conception ou problèmes conceptuels qui l’ont empêché de continuer le tutoriel
  • ses fautes, qui correspondent à des erreurs qui l’ont rendu confus, et qu’il n’aurait pas dû expérimenter

Échelle de décision

 

Les équipes de Microsoft proposent une catégorisation des problèmes (déduits des échecs et fautes des participants) en 4 groupes :

Type Caractérisation Exemple Solution
1 Cause identifiée
Solution évidente et rapide à implémenter
Modification du texte, réajustement d’éléments de l’interface, etc. – Modifier dans la foulée
– Tester la solution avec le participant suivant
2 Cause identifiée
Solution évidente mais longue à implémenter
Modification du code source, reconception d’une écran de l’interface, etc. – Commencer à implémenter la solution et continuer avec le problème
– Tester la solution dès qu’elle est prête

3

Cause non identifiée (ou pas clairement)
Solution pas évidente
/ – Observer si l’erreur est reproduite par les utilisateurs suivants
– Reclasser cette erreur dans les catégories 1 ou 2 ou comme « non problème »
– Apprendre de ses erreurs
4 Cause non liée à l’interface mais potentiellement à d’autres facteurs Interactions avec l’utilisateur, mauvaises conditions de passation du test, etc.

 

Réactivité

 

Au moins un membre de l’équipe de développement, si possible un membre décisionnaire, est présent à chaque test utilisateur. En voyant de ses propres yeux les difficultés rencontrées, cela lui confère un meilleur investissement dans le perfectionnement de l’interface.

Entre chaque test un certain temps est prévu pour que l’équipe entière se réunisse et détermine dans quelle catégorie se place chacun des problèmes rencontrés. Cela permet dans la mesure du possible de corriger les problèmes de type 1 avant le test suivant et de commencer à implémenter immédiatement ceux de type 2.

Dans le cas du tutoriel de Age of Empire II, les équipes de Microsoft ont laissé 2h entre chaque test, et ont donc passé 3 tests par jour plutôt que 5.

L’efficacité de cette technique rend les tests utilisateurs possibles dans des équipes agiles qui ont des résultats en temps réel.

Synthèse des révisions de l’interface


Une autre distinction des tests RITE réside dans la représentation et l’interprétation des résultats, centrées sur les fautes et échecs des participants.

Représentation graphique

 

Les révisions du tutoriel correspondent aux lignes verticales sur le graphique. On dénombre donc 6 itérations au total.

Interprétation du graphique

 

On remarque tout d’abord qu’une révision a été effectuée après le 1er participant.
En effet, un problème de type 1 a bloqué le participant : le tutoriel demandait de prélever des ressources mais le bois a été oublié (pas d’arbres à l’écran). Sa solution évidente, ajouter des arbres visibles, a été implémentée dans la foulée et ce problème n’est jamais réapparu.

On note également que le nombre de fautes et d’échecs baisse au fil du temps et des itérations, mais une hausse du nombre de problèmes peut apparaître après une révision. En effet, une fois qu’un problème bloquant est supprimé (par exemple une fois que le bois est devenu accessible), de nouvelles erreurs deviennent possibles.

Cela montre une force de la méthode RITE : en corrigeant des erreurs tôt, d’autres problèmes sont découverts.

Il est essentiel de vérifier que les modifications apportées à l’interface ont atténué les problèmes rencontrés et n’ont pas causé d’autre problème. En général, on considère que 5 participants sont nécessaires pour vérifier une correction. Dans le cas du tutoriel, les 6 derniers participants n’ont détecté aucun problème précédemment résolu.
Plus un problème est décelé et corrigé tôt, plus le degré de vérification de sa résolution est important. Par exemple, la correction du problème de découpe du bois a été vérifiée par 15 participants.

Indicateurs

Impact

 

L’analyste américain Paul Sawyer, accompagné de son équipe, a défini en 1996 le “taux d’impact” dans Proceedings of CHI’ 96. C’est une métrique permettant de déterminer l’efficacité d’un test :

Latex formula

 

On considère généralement que l’interface est utilisable quand 80 % des problèmes ont été résolus.

Total des problèmes identifiés Problèmes résolus Impact
31 30 97%

 


Impact de la méthode RITE pour le tutoriel de Age of Empire

Réajustement

 

L’une des forces de la méthode RITE, en comparaison aux tests habituels, est qu’elle permet de dévoiler les corrections qui nécessitent d’être re-corrigées. Les équipes de Microsoft ont donc proposé une nouvelle mesure, le “taux de réajustement” :

Latex formula

 

Le tutoriel de Age of Empire II a notamment rencontré un problème de terminologie qui a requis plusieurs corrections. En effet, pour fonder un régiment d’épéistes,  l’interface parlait parfois d’ “Entraîner des unités” et d’autres fois de “Créer des unités”. Les participants croyaient alors qu’il leur suffisait de convertir leur peuple de villageois en régiment d’épéistes, alors que les épéistes sont créés à partir d’autres ressources. 6 des 8 participants ont ainsi échoué à produire de nouvelles unités.

La terminologie a donc été unifiée en utilisant le terme “Entraînement des unités” dans toute l’interface utilisateur. Mais le problème a persisté. L’équipe a donc cette fois changé la terminologie pour « Créer une unité ».

Une fois qu’il a été « re-corrigé », ce problème n’a pas été revu pour les 7 participants restants.

Total des corrections Re-corrections Réajustement
36 6 20%

 


Réajustement Age of Empire II

Points d’attention


La méthode RITE possède donc de nombreux avantages développés tout au long de cet article. Toutefois, la méthode RITE peut se montrer inefficace si elle est mal appliquée.

En particulier :

  • Si des changements sont effectués quand le problème et/ou la solution ne sont pas clairs, cela peut « briser » d’autres parties de l’interface utilisateur ou de l’expérience utilisateur.
  • Si de nombreux changements sont effectués à la fois, et que l’un d’eux dégrade l’expérience utilisateur, il peut-être difficile d’évaluer lequel des changements cause le problème.
  • Si les tests ne sont pas poursuivis avec suffisamment de participants, rien ne garantit que les modifications apportées rendent l’interface utilisateur plus adaptée que celle précédemment testée.
  • Si des problèmes d’utilisabilité peu fréquents sont mis de côté, cela peut laisser des problèmes considérables non résolus.

Enfin, il est important de noter que certains problèmes ne peuvent pas être identifiés par une simple observation. Il s’agit alors de compléter la méthode RITE par d’autres méthodes (entretien, questionnaire, verbalisation, etc.).

 

L'auteur

Louise Mathieu
Louise MATHIEU

Contact

Besoin d'informations supplémentaires ?