Curso InnoGuía: Cómo innovar en la Administración pública

En la etapa anterior has construido un prototipo o un producto mínimo viable. En esta etapa diseñarás las pruebas o experimentos que vas a realizar recogerás información, las ejecutarás, analizarás los resultados de la iteración y decidirás cómo continuar.

Las pruebas se hacen para recoger la retroalimentación y aprender de esos datos, con el fin de mejorar en sucesivas iteraciones. Si se diseñan bien y se ejecutan según el plan previsto, la información recogida será de gran utilidad. Esto, que suena obvio, no siempre ocurre. 

Un principio crítico al realizar el testeo es entender que éste no consiste en “vender la idea” sino en probar cómo funciona el prototipo y aprender. Tenemos que estar con una actitud abierta hacia el feedback recibido. Hay que saber escuchar otros puntos de vista, más cuando discrepan de nuestras suposiciones. Lo mejor que puede pasar con el prototipo es que tengas que desecharlo después del primer test con usuarios. Es así porque significa que has aprendido y que, de paso, te has ahorrado errores posteriores, que siempre son más caros.

Durante la fase de prototipado, las pruebas se llevan a cabo en un entorno controlado, a menudo denominado "de laboratorio", donde se puede observar cuidadosamente el comportamiento de los usuarios sin que haya efectos reales sobre ellos. Esto permite asegurar que las condiciones sean estables y predecibles y que las personas que evalúan se centren en observar y medir el comportamiento del usuario sin interferencias externas. Además, se evita cualquier posible riesgo o impacto negativo que el prototipo pueda tener sobre los usuarios en un entorno real.

Tradicionalmente, las pruebas de productos eran diseñadas y realizadas por un equipo especializado distinto del que los construía. Sin embargo, se ha comprobado que es más efectivo que el mismo equipo que desarrolla el producto también realice las pruebas. Quienes diseñan y construyen el producto están más comprometidos en corregir los errores cuando estos se presentan y entienden mejor los requisitos y sus implicaciones, lo que resulta en una mejor calidad y eficiencia. Este enfoque mejora la responsabilidad y la coherencia en todo el proceso de desarrollo y prueba.

Realizar las pruebas o experimentos

Mientras que los experimentos permiten aprender sobre el comportamiento de las personas usuarias, las pruebas sirven para comprobar que lo que hemos construido funciona como se espera. Cuando innovamos intentamos soluciones nuevas, en las que tenemos poca experiencia, así que es difícil prever qué puede no funcionar según lo esperado. Por tanto, es útil familiarizarse con los distintos tipos de pruebas que se pueden hacer para reducir en la medida de lo posible el riesgo de que algo salga mal en un entorno real:

Nombre	Qué comprueba	Ejemplo aplicado al diseño de una sala de espera
Unitarias	Que cada componente de la solución funciona correctamente de forma aislada.	La pantalla de turno pasa del 99 al 00.
De integración	Que los diferentes componentes de la solución funcionan correctamente juntos.	La pantalla de turno se lee correctamente a la distancia a la que están situados los asientos.
De sistema	Que toda la solución en su conjunto funciona como se espera en condiciones parecidas a las reales.	Todos los tipos de personas usuarias (mayores, etc.) consiguen ser atendidos sin tener que preguntar a nadie qué tienen que hacer desde que entran por la puerta.
De regresión	Que los últimos cambios no han estropeado nada que antes funcionaba.	Cuando cambiamos la localización de las mesas para resolver un problema de accesibilidad, comprobamos que desde los asientos se sigue viendo la pantalla de turno.
De aceptación	Que cumple con las expectativas y requisitos de las personas usuarias, permitiendo conseguir aquello que se pretendía.	Las personas con discapacidad consiguen ser atendidas.
De usabilidad	Que las personas usuarias son capaces de conseguir eficientemente lo que desean o lo que se espera de ellas.	Nadie tiene dificultad para pulsar los botones del expendedor de turnos.
De rendimiento	Que el comportamiento es correcto bajo condiciones de carga y estrés.	Cuando la sala de espera está llena, el ruido es tolerable.
De seguridad	Identificar vulnerabilidades y asegurar la protección de datos.	Desde los asientos de la sala de espera no se leen los datos personales que aparecen en las pantallas de las personas que atienden al público.

En el diseño de servicios, son especialmente importantes las pruebas de usabilidad. Existen muchos tipos de técnicas para evaluar la usabilidad y eficiencia de un producto, por ejemplo:

• Medición de consecución de los objetivos de las tareas de prueba: Se evalúa si los usuarios logran completar sus tareas de manera efectiva y eficiente, midiendo el tiempo y la precisión con la que alcanzan los objetivos establecidos.
• Observación: Se observa directamente a los usuarios mientras interactúan con el producto para entender cómo realizan las tareas y qué dificultades encuentran.
• Entrevistas y encuestas: Se recopila retroalimentación directa de los sujetos de las pruebas, preguntando sobre su experiencia, dificultades encontradas y sugerencias de mejora.
• Análisis heurístico: Una persona experta en usabilidad evalúa el producto en base a principios y buenas prácticas ampliamente aceptadas, identificando posibles problemas de diseño.
• Mapas de calor (datos de utilización del producto): Estas herramientas visuales muestran gráficamente las partes del producto que son más y menos utilizadas por las personas usuarias, proporcionando información crucial sobre patrones de uso y áreas de interés.

Las pruebas son tan útiles para llegar a un resultado satisfactorio que la tendencia es a adelantarlas tanto como sea posible. En informática, frecuentemente las pruebas se automatizan a la vez que se programan las aplicaciones. 

FALTA: Para diseñar los experimentos hay que tener claro qué queremos aprender y encontrar la forma de que sólo cambie la variable sobre la que queremos experimentar.

Usuarios de prueba

Los usuarios con los que se realizan las pruebas pueden ser reales o simulados. Involucrar a personas usuarias reales en las pruebas puede proporcionar una perspectiva auténtica sobre cómo interactuarán con el producto final. Estos usuarios representan al público objetivo y pueden ofrecer valiosos comentarios basados en su experiencia real.

Sin embargo, a veces es práctico o necesario utilizar personas usuarias simuladas (miembros del equipo de proyecto, otros individuos capacitados para imitar el comportamiento de las personas usuarias reales, o sistemas informáticos diseñados para replicar ese comportamiento). Es crucial que estas simulaciones repliquen lo más fielmente posible las características y comportamientos de los usuarios finales en aquellos aspectos que afecten directamente a lo que se está probando; en el resto de aspectos, no es necesario que coincidan.

Independientemente de si se usan usuarios reales o simulados, la observación y documentación detallada de sus interacciones con el prototipo son fundamentales. Esto incluye registrar tanto el éxito y eficiencia en la realización de tareas como las dificultades encontradas y las sugerencias de mejora.

En ocasiones, para llevar a cabo pruebas efectivas, es necesario utilizar datos que se asemejen a los reales. Estos datos sintéticos deben imitar de manera fiel las características y patrones de los datos auténticos para garantizar que las pruebas reflejen situaciones y comportamientos del mundo real. Esto es crucial para identificar cómo el producto se comportará en condiciones normales de uso, detectar posibles problemas y asegurar que el producto cumplirá con las expectativas y necesidades de los usuarios finales. Al utilizar datos realistas, las pruebas proporcionan resultados más precisos y confiables, permitiendo una mejor evaluación y mejora del producto antes de su lanzamiento.

Facilitación

Cuando las pruebas se hacen con personas usuarias reales, la facilitación es un proceso clave para obtener información valiosa sobre cómo interactúan con un producto. Hay que intentar que las personas usuarias vivan la experiencia, sin intervenir, ni dar demasiadas instrucciones que puedan condicionar su opinión. Crear un clima adecuado en el testeo para que ellas se sientan con libertad de darnos respuestas inesperadas o que contradigan las hipótesis que dábamos por supuesto.

Utiliza métodos cualitativos (como entrevistas y observaciones) y cuantitativos (como encuestas y análisis de métricas de uso) para recopilar información detallada sobre la experiencia del usuario. 

Recoger los datos

Una tarea que a veces se descuida es recoger correctamente las observaciones y datos que se generan en las pruebas. Y un aspecto clave es medir, tratar de obtener datos fiables. También registrar, bien documentadas, todas las alternativas de solución que nos den las personas usuarias. Esto es importante porque nunca se sabe cuándo vamos a tener que volver atrás y recuperar una información que inicialmente no se tuvo en cuenta. Estos datos pueden ser útiles para futuras iteraciones. 

Diseñar un buen formulario para recoger los resultados del test o prueba de un prototipo es clave para evaluar la eficacia y funcionalidad del prototipo, así como para identificar áreas de mejora. Debe ser estructurado de manera que capture todos los aspectos relevantes de la prueba y facilite el análisis de los datos recopilados. Recomendamos usar la herramienta H16: FICHA DE RESULTADOS DEL TEST como referencia para elaborar ese formulario.  Esto asegura que toda la información relevante se capture de manera sistemática y pueda ser fácilmente analizada posteriormente.

Después de realizar las pruebas, es importante dar feedback a los/as participantes. Devolverles información, no solo por respeto al tiempo que han dedicado, sino también porque este segundo contacto puede servir para capturar nuevos matices que solo aparecen después de poner en común los resultados.

Iteración rápida (test-and-iterate)

La iteración rápida es un enfoque ágil en el que se realizan cambios inmediatos en el producto o prototipo en respuesta al feedback obtenido de los usuarios durante las pruebas. Este proceso se repite en ciclos cortos, permitiendo mejoras continuas y rápidas.

El equipo analiza rápidamente la información recopilada para identificar problemas, puntos de mejora y posibles soluciones. Este análisis se hace de manera eficiente para no detener el proceso de iteración.  

Basándose en el análisis, se realizan ajustes y mejoras en el prototipo. Estos cambios pueden ser menores, como la modificación de una interfaz de usuario, o más significativos, como la reestructuración de una funcionalidad.

Se vuelven a realizar pruebas con los mismos usuarios o con un nuevo grupo, utilizando la versión ajustada del prototipo. Este ciclo de prueba y ajuste se repite hasta que el producto cumple con los requisitos y expectativas deseadas.

Este enfoque reduce los tiempos y permite explorar caminos imprevistos con agilidad.

Evaluar los resultados

A partir de los datos recogidos en las pruebas, durante la construcción de la solución y de las percepciones del equipo durante la iteración se pueden sacar varios tipos de conclusiones útiles.

Las pruebas y experimentos permiten aprender sobre la solución que se está construyendo (qué funciona y qué no, qué partes son más costosas, qué aspectos pueden dar problemas con el tiempo, etc.), sobre cómo la utilizan las personas usuarias (qué les resulta confuso, qué prefieren, qué sienten durante el proceso, qué valoran y qué les molesta, etc.), sobre la utilidad de la solución (en qué medida consiguen las personas usuarias lo que necesitan, en qué casos no lo consiguen, etc.) y sobre el propio problema que se pretende resolver (el comportamiento de las personas usuarias nos informa sobre qué les importa con más fiabilidad que las opiniones que manifiestan).

En metodologías ágiles, a esta evaluación se le llama revisión y concluye con la decisión sobre:

• Cómo continuar con la iniciativa: decidir si pasar a la fase de escalado, si volver al inicio de la fase de prototipado aplicando mejoras sobre la solución elegida, si pivotar a una solución distinta volviendo a la fase de ideación, etc.
• Qué nos llevamos a la siguiente fase: Qué hemos aprendido sobre la solución, las personas usuarias y el problema que queremos resolver.

Al analizar los datos de pruebas y experimentos hay que tener en cuenta en qué medida las diferencias que observamos respecto a la situación esperada son significativas y en qué medida los resultados son extrapolables.

Una diferencia no es significativa si puede atribuirse al azar. Por ejemplo, si estamos comparando dos prototipos de señalización para averiguar con cuál de ellos las personas usuarias encuentran más rápido el mostrador adecuado y la diferencia a favor del prototipo A es muy pequeña, es probable que repitiendo el experimento obtengamos el resultado contrario.

Como las pruebas y experimentos se realizan en un entorno controlado, puede que en la situación real no se produzcan los mismos resultados, es decir, que las conclusiones no sean extrapolables. Por ejemplo, el prototipo de señalización que funcionaba correctamente en el laboratorio puede fallar en el entorno real porque parte del público objetivo tiene problemas de visión y en las pruebas ninguno de los usuarios de prueba se encontraba en esa situación.

Por otra parte, el equipo puede haber recogido datos sobre el proceso de prototipado (por ejemplo, qué unidades de trabajo se han realizado y cuáles no, cuánto tiempo se ha consumido, qué objetivos se han conseguido, etc.) y tendrá percepciones y opiniones sobre cómo se ha trabajado (cómo se han sentido, qué les ha molestado, qué les ilusiona, etc.).

En metodologías ágiles, a esta evaluación se le llama retrospectiva y sirve a los equipos para tomar decisiones sobre cómo funcionar mejor y a un ritmo que se pueda mantener indefinidamente. Es una oportunidad para que el equipo cuide de sí mismo y celebre lo que se ha hecho bien. Como resultado, decide qué cambios quiere realizar en su forma de trabajar en la siguiente iteración.