Me enteré ayer de la publicación de los resultados de un estudio de las páginas de inicio de las Universidades Españolas. El proyecto está organizado por AIPO, Asociación Interacción Persona Ordenador. El proyecto se coordinó mediante un blog, USABAIPO, Proyecto Usabilidad Páginas Web Universidades Españolas. Revisando los resultados y metodología usados, me surgieron algunos conflictos. Aquí va mi comentario, realizado con el mejor de los espíritus y entendiendo que éste es un esfuerzo notable.
Introducción
El proyecto USABIPO se planteó analizar las páginas de inicio de 69 universidades españolas. Sé personalmente que esto es un esfuerzo monumental. Durante el primer semestre de este año participé en un estudio encargado por el Ministerio de Economía del Gobierno de Chile para analizar la usabilidad de los trámites en línea del Estado chileno. Mi rol en este estudio fue particularmente la planificación, coordinación y ejecución de las evaluaciones heurísticas de 61 trámites, en el que participaron tres evaluadores junto a mí como evaluador y responsable de esa parte del estudio. El proceso fue notable y, aparte de los inevitables problemas de tiempo y recursos de un proyecto como éste, me siento muy satisfecho de haber participado en él.
Pues bien, comento esto para dejar en claro que entiendo el esfuerzo que el proyecto USABIPO implica y lo valoro en ese sentido. Pero como mencioné antes, hay algunos aspectos metodológicos que me sorprendieron, y que paso a comentar como aporte y crítica constructiva.
Metodología
USABIPO plantea el tema de la metodología del siguiente modo:
Se efectuó una evaluación por inspección a través de la aplicación de tres métodos diferentes ampliamente consensuados dentro del ámbito de la IPO:
- Inspección de estándares
- Análisis de zonas de la interfaz
- Evaluación heurística
Inspección de Estándares
Nadie podría decir que los estándares web no me preocupan, pero no creo que deberían ser una parte fundamental de un estudio de usabilidad. Puede ser un complemento, un factor más, pero no una parte del estudio, porque el uso de estándares no garantiza usabilidad. Es cierto que es más posible que un sitio basado en estándares web sea más usable y accesible, pero no es una condición automáticamente adquirida.
Por otro lado, creo que hacer una validación automatizada es sólo una parte: así como ya lo hemos discutido muchas veces respecto a la accesibilidad, las validaciones automatizadas no son suficientes en sí mismas. Es cierto que validar CSS y HTML es más fácil que validar accesibilidad, porque los primeros se basan en las reglas predefinidas de un vocabulario conocido, donde la interpretación es menor. Pero un sitio válidamente formado no es lo mismo que un contenido semánticamente estructurado. Creo que esto último no lo cumple el estudio de USABIPO.
Análisis de Zonas de la Interfaz
Creo que es interesante lo que se ha hecho en esta área, pero me parece que se han entregado sólo datos y no información. Para mejorar un sitio, o la portada de un sitio, no me sirve que se identifique cómo está compuesta mi página, sino que se me entreguen pautas para mejorarla.
Evaluación Heurística
Por mi experiencia es aquí donde tengo más observaciones. El primer detalle que me llamó la atención es algo que pudiera parecer menor, pero que creo que metodológicamente puede tener repercusiones en los resultados: la redacción de las pautas heurísticas no es consistente y no representa criterios positivos. En algunos casos el criterio no queda claramente explicado. Esto puede llevar a inexactitudes al momento de la evaluación, porque es posible que los evaluadores interpreten de modo distinto las pautas.
Con lo anterior me refiero a que las pautas deberían estar compuestas por criterios positivos, cosas que el sitio o sujeto de estudio debería cumplir. Una heurística, entonces, debería ser un listado de pautas que se conocen como buenas prácticas de usabilidad. Si se desea incluir un problema frecuente a una heurística, es mejor transformarlo en algo positivo, por ejemplo, la tercera pauta del criterio Navegación de la heurística de USABIPO dice:
¿Se utilizan instrucciones genéricas (Ej. “Haga clic aquí”) o vínculos genéricos? (Ej. “Más”)?
La redacción es sumamente ambigua, y no es claro si el sitio debe cumplir o no con este criterio. Si respondo que sí, estoy afirmando que hace uso de una mala práctica. Si respondo que no estoy diciendo que el sitio no lo hace, lo que es correcto. Confuso. Quedaría mucho mejor planteada así:
El sitio utiliza vínculos en contexto, con un contenido descriptivo, en lugar de usar instrucciones genéricas (Ej. “Haga clic aquí”) o vínculos genéricos (Ej. “Más”)
Esto se aprecia en varias preguntas, por ejemplo:
¿Se utilizan las ventanas emergentes para dar información importante del sitio Web?
es ambigua respecto de si el uso de ventanas emergentes es bueno o malo. Entiendo que el sistema de puntuación trata de enfrentar esto, pero creo que es mucho más simple calificar usando una escala de 5 puntos y un no aplica.
Finalmente, la presentación de los resultados de la evaluación heurística me resulta sorprendentemente simple. No basta con un gráfico para saber cómo salí en la evaluación, necesito feedback detallado para saber cómo soluciono cada uno de los puntos en que fallé. Espero, e imagino de buena fe que así habrá sido, que a cada una de las universidades se les habrá entregado un resultado más detallado de estas evaluaciones.
Conclusiones
Reitero mi reconocimiento por el esfuerzo realizado, pero debo concluir con una visión un tanto negativa respecto a los resultados: creo que existen algunos problemas metodológicos y que hace falta una retroalimentación mucho más rica que permita conocer los problemas reales y detallados, junto con una orientación respecto a la forma de enfrentar los problemas observados.
