Proyecto “Séneca Exámenes Online”

1.- Introducción

La Consejería de Educación y Deporte ha desarrollado un avanzado procedimiento informático de diseño, corrección y evaluación de las pruebas de obtención de título de Técnico y Técnico Superior, que permite que se realicen los exámenes on line y se corrijan de forma más objetiva y sostenible.

Este proyecto, pionero en Andalucía, se puso en marcha en la convocatoria de 2015, y hasta el 2021 se han ido incluyendo las siguientes ventajas:

• Los exámenes de los diferentes módulos profesionales se elaboran automáticamente a partir de una base de datos con más de 100.000 preguntas posibles, elaboradas por 160 expertos de las distintas familias profesionales. Las pruebas se cargan directamente en el ordenador que cada aspirante vaya a utilizar. 
• De forma automática el sistema calcula la puntuación obtenida por cada participante. 
• Una vez realizadas y corregidas las pruebas cada aspirante podrá descargarse de Secretaría Virtual un certificado firmado digitalmente con las calificaciones obtenidas. 

Para garantizar el correcto funcionamiento de este nuevo procedimiento se realizaron más de 100 simulacros en los 86 centros que colaboran en la realización de las pruebas, lo que permitió solucionar posibles errores y la adecuación de las infraestructuras y los equipamientos de estos centros a las necesidades de las pruebas que se llevan a cabo en sus sedes.

Esta modalidad on line para la realización de estas pruebas sitúa a Andalucía a la vanguardia de las Comunidades Autónomas. En la convocatoria de 2021 se han ofertado 24 ciclos formativos de Formación Profesional; 13 corresponden a Pruebas de Obtención de Título de Técnico Superior y 11 a Pruebas de Obtención de Título de Técnico, con un total de 16.181 solicitudes presentadas. Se han realizado un total de 90.456 exámenes.

2.- Cómo surgió el Proyecto.

Cuando llegué a la Dirección General de Formación Profesional (DG), en el año 2013, me asignaron como funciones principales colaborar en la coordinación de las Pruebas de Obtención de Título de Técnico y Técnico Superior de Formación Profesional. Dichas pruebas, están reguladas en la Orden de 8 de octubre de 2010, por la que se regulan las pruebas para la obtención de título de Técnico y Técnico Superior de ciclos formativos de formación profesional del sistema educativo y se convocan las correspondientes en el año 2010. La convocatoria anual de estas pruebas queda amparada en el Real Decreto 1147/2011, de 29 de julio, por el que se establece la ordenación general de la formación profesional del sistema educativo, y que establece en sus artículos 36 y 37 un marco de condiciones básicas que permite a las distintas Administraciones Educativas, teniendo en cuenta la estructura organizativa propia de la formación profesional en el sistema educativo, la convocatoria y realización de pruebas para la obtención de los títulos de Técnico y Técnico Superior.

Para la realización de un examen de un módulo profesional concreto se actuaba de acuerdo al siguiente procedimiento:

1. Se encargaba a un grupo de profesores, expertos cada cual en su materia, que realizaran 100 preguntas por cada módulo en una hoja de cálculo y lo enviaran a un correo electrónico asignado para ese fin. 
2. En una base de datos local se subían las tablas con las preguntas y se seleccionaba un número de preguntas en función de las horas lectivas del módulo correspondiente. 
3. Posteriormente, se generaba un documento pdf con las preguntas seleccionadas y la plantilla del examen.
4. La empresa adjudicada por la D.G. de Formación Profesional se encargaba de la impresión de los exámenes y de la distribución de los mismos en sus correspondientes sobres.

Una vez realizados los exámenes, las comisiones de evaluación correspondientes corregían dichas pruebas y grababan en la aplicación Séneca las calificaciones del alumnado.

Este proceso tenía aparejado un elevado coste pues implicaba muchas horas de trabajo para la revisión y selección de preguntas. Por otro lado, necesitaba grandes cantidades de papel tanto para las solicitudes e impresión de exámenes como en la documentación correspondiente al expediente económico. Dicho expediente económico no se ajustaba a las mínimas normas de protección medioambiental.

Además existían gran cantidad de reclamaciones debido a que las preguntas tenían un componente de subjetividad a la hora de su corrección.

El procedimiento descrito anteriormente lleva aparejado una  documentación, cuyos anexos se firmaban a mano por los miembros de las comisiones de evaluación, se sellaban y se enviaban a la Delegación Territorial (DT) de la provincia, donde estuviera encuadrado el centro educativo. Este procedimiento se llevaba a cabo en el mes de julio todos los años.

Todo lo anterior hacía que se produjesen retrasos en la tramitación de los expedientes que con frecuencia tardaban varios meses en tramitarse.

3.- Equipo del Proyecto.

Tan pronto como me reuní con el Jefe de Servicio de Sistemas de Información, D. Francisco Silveira García y le describí la idea de proyecto, apostó por él considerándolo una aplicación novedosa y de gran repercusión en la ciudadanía, con unos objetivos en línea a otras aplicaciones que su equipo ya estaba desarrollando. Así, puso a mi disposición los medios materiales y humanos necesarios para llevar a cabo este proyecto. Destacar el trabajo realizado por el personal de Ayesa, especialmente los técnicos D. Juan Antonio Coto Adorna y D. David Alonso Fuentes.

4.- Objetivos del proyecto: “Séneca Exámenes on line”

Diseño de un sistema de pruebas acorde al siglo XXI para el que nos marcamos los siguientes objetivos:

• Realización de pruebas on line mediante conexión a un servidor.
• Eliminación total del papel.
• Pruebas totalmente objetivas.
• Recursos reutilizables (equipos informáticos).
• Acortar los plazos de tramitación de los expedientes económicos.
• Uso de la firma electrónica para todos los documentos administrativos.
• Reducir la carga administrativa de los centros.
• Dotación económica y material a los centros educativos.
• Realización de los trámites por internet para evitar desplazamientos a las personas solicitantes.
• Análisis de dificultad de la base de datos para mejorar la calidad de las preguntas.

5.- Descripción del Proyecto: “Séneca Exámenes on line”

1. a) Solicitudes. 

Todos los trámites se han implementado para que se puedan realizar sin desplazamientos, vía telemática a través de la Secretaría Virtual de los Centros Educativos:

• Las personas solicitantes realizan la inscripción. Dicha solicitud teletramitada llega al centro educativo a través de la aplicación Séneca donde se revisa la documentación y se consolida si procede.
• Listados provisionales.
• Tramitación de alegaciones, pudiéndose adjuntar la documentación requerida.
• Listados definitivos.
• Consulta de las calificaciones.
• Descarga de Anexo X (certificación módulos superados) y Anexo XV (certificación de las unidades de competencias adquiridas).

1. b) Base de datos de preguntas en Séneca.
   

   Actualmente la base de datos en Séneca tiene 29 títulos formativos con 280 módulos. Eso hace que la base de datos contenga más de 100.000 preguntas. Las preguntas son tipo test con cuatro respuestas de las cuales  solo una es correcta. Las calificaciones se calculan según la siguiente fórmula:

A= número de preguntas correctas
E= número de preguntas erróneas
N= número de preguntas que consta el examen

Las preguntas pueden ser texto, imagen o archivo de audio, y las respuestas pueden ser texto o imagen.

Los exámenes contienen un número de preguntas en función de las horas lectivas que tiene el módulo profesional, a su vez el número de preguntas de reserva y el tiempo para realizar el examen se calcula en función del número de preguntas. 

Características de los exámenes:

• Cada definición de examen contiene el número de preguntas, el número de preguntas de reserva, la duración y el sistema de calificación propios del examen. 
• Cada examen puede tener varias convocatorias (turnos) que se pueden llevar a cabo en el mismo centro educativo o centro asociado. De esta forma, se ajusta el número de matrículas de un módulo concreto a la disponibilidad de equipos informáticos. 
• Cada convocatoria tiene un código único que el alumnado necesita para comenzar el examen. 
• El usuario y clave son asignados al alumnado a través de la plataforma Pasen y es válido para todos los exámenes.

Una vez el alumnado esté en el aula, el miembro de la comisión encargado debe iniciar el examen en Séneca para que a partir de ese momento se pueda acceder al examen. 

El diseño de la interfaz del examen es intuitivo e incorpora simpleza, coherencia y claridad.

El alumnado dispone de un índice para ver el estado del examen fácilmente.

El examen finaliza bien porque el tiempo previsto para su realización termine o bien porque el alumnado finalice manualmente el examen. En ese momento, Séneca calcula la calificación y la pone a disposición de la comisión de evaluación en el menú “evaluación”. Una vez aceptada dicha pantalla el sistema graba la calificación en el expediente del alumnado y el acta de evaluación. Este será el documento oficial que dará validez a la prueba.

1. c) Seguridad.

Se han diseñado las siguientes medidas de seguridad para garantizar la integridad de la prueba:

• Una vez el examen finaliza queda protegido mediante un procedimiento de encriptación denominado “hash”. Esto hace que los exámenes no puedan modificarse después de su finalización, dando validez jurídica al procedimiento.
• La base de datos de preguntas y respuestas está encriptada. En el momento de mostrarse en el examen el texto se desencripta, protegiendo así la base de datos de preguntas del personal no autorizado.
• Bloqueo de sesión. Cuando el alumnado inicia una segunda sesión del examen, este se bloquea. Se puede analizar la IP desde la que se ha accedido a cada sesión, los miembros de las comisiones podrán desbloquearla, añadir más tiempo de examen o  finalizar el examen.

1. d) Análisis de dificultad. Optimización de la base de datos de preguntas tipo test.

El examen de tipo test motivo de análisis, corresponde al implantado en las Pruebas de Obtención de Título de Técnico y Técnico Superior en la Dirección General de Formación Profesional de la Consejería de Educación y Deporte. Constituye una prueba objetiva de tipo test con la que se evalúa las capacidades y competencias que exige la normativa reguladora del correspondiente título formativo. 

Su construcción se elabora con cuatro posibles opciones al planteamiento de la pregunta, de las cuales una sola es verdadera, utilizándose como factor corrector de la respuesta al azar la fórmula:

C= Calificación.
A= Número de Aciertos.
E= Número de Errores.
N= Opciones de la pregunta, en nuestro caso es cuatro.

La calificación final será un número entero entre 1 y 10.

En la confección del examen resaltamos cinco puntos en los cuales hay que poner especial cuidado a evitar:

• Que haya errores en la interpretación.
• Proporcionar “pistas” sobre la respuesta correcta al alumnado.
• La utilización de términos ambiguos.
• La complejidad en la redacción; esta se ajustará al nivel de estudios que estamos evaluando.

Son errores que sin duda interfieren en la calidad evaluativa de la prueba y que nos servirá en el proceso de análisis de cada pregunta. Posteriores re-evaluaciones proporcionarán un “feedback” a los profesores reforzando su calidad e introduciendo un dinamismo al “banco de preguntas”.

Su dificultad de confección en la consecución de una prueba objetiva de calidad que valore si las personas candidatas tienen las capacidades y competencias como ya se ha comentado, justifica la conveniencia de disponer de una herramienta algorítmica que permita el análisis individualizado de sus numerosas preguntas.

La actual tecnología informática facilita la ejecución de dicho objetivo a través del cálculo de los siguientes indicadores: identificación de los grupos fuertes y débiles, índice de dificultad, índice de discriminación y respuestas de los distintos ítems por pregunta. 

La metodología a utilizar se basa en el análisis con soporte informático de las preguntas aparecidas en exámenes anteriores que ofrezca una información individualizada (evaluación crítica por pregunta), a través de los siguientes indicadores:

• Identificación de los grupos fuertes y débiles: Construiremos los grupos “fuerte” y “débil” tomando solamente los primeros 33% (grupo fuerte) y los últimos 33% (grupo débil) del conjunto de los estudiantes clasificados por orden de puntuación.

• Índice de dificultad: Es un índice que nos permite determinar en qué medida una pregunta de examen es fácil o difícil. Varía de 1 a 100, siendo 100 muy fácil y 1 muy difícil. Para su cálculo se utiliza la fórmula:

Donde F es el número de respuestas correctas en el grupo fuerte, D es el número de respuestas correctas en el grupo débil y N es el Número total de estudiantes entre los dos grupos.

• Índice de discriminación: Índice que permite determinar en que medida una pregunta es bastante selectiva para distinguir un grupo fuerte de un grupo débil de estudiantes. Varía de -1 a 1. Para su cálculo se utiliza la fórmula siguiente:

Cuanto más elevado es este índice la pregunta permite diferenciar con mayor claridad un grupo fuerte y otro débil de estudiantes. Es decir, ayuda a reconocer a los  estudiantes que han adquirido las competencias y capacidades exigidas.

Apoyándose en este índice, pueden emitirse los siguientes juicios:

  Nota: Índice de dificultad <30 o >70 en rojo.

1. e) Centros educativos.

La elección de los centros educativos sedes se realiza teniendo en cuenta su equipamiento, ubicación y disponibilidad. El número de centros sedes y asociados para cada prueba se establece en función del número de solicitudes de convocatorias anteriores.

1. f) Aplicación Séneca. Perfiles desarrollados.

Para llevar a cabo el proyecto de exámenes on line se han definido varios perfiles específicos de Séneca:

• Perfil Repositorio; este perfil gestiona la base de datos de preguntas y respuestas. 
•  
• Perfil Comisión exámenes on line; este perfil gestiona la creación de convocatorias (turnos), asignación y evaluación del alumnado entre otras.

• Perfil Gestión económica EO;  este perfil gestiona todo lo relativo al expediente económico de la comisión de evaluación.

• Perfil Simulación exámenes on line; es un perfil para simular los perfiles anteriores, usado habitualmente por los responsables provinciales.

6.- Metas del proyecto: “Pruebas Libres Exámenes on line”

69. a) Sostenibilidad. En línea con el objetivo 13 de la Agenda 2030 para el Desarrollo Sostenible; “Adoptar medidas urgentes para combatir el cambio climático y sus efectos”, se elimina totalmente el papel para las solicitudes, alegaciones, exámenes, expedientes económicos y certificaciones de calificaciones. En la convocatoria de 2020 si hubiéramos realizado los 69.621 exámenes en papel se habrían utilizado 556.968 folios.
70. b) Acercar la educación a las personas. Las pruebas se ajustan especialmente a personas que están trabajando, viven lejos de centros educativos que imparten el título formativo que quieren obtener o no disponen de tiempo para asistir a clases. Evita desplazamientos y acerca la educación a la ciudadanía. En línea con el objetivo 4 de la Agenda 2030 para el Desarrollo Sostenible; “Garantizar una educación inclusiva, equitativa y de calidad y promover oportunidades de aprendizaje durante toda la vida para todos”.

De las 13.003 solicitudes recibidas en la convocatoria de 2020, 12.308 solicitantes son residentes en Andalucía y 695 fuera de ella (hay personas solicitantes de 49 provincias). 

En la siguiente gráfica observamos la distribución de solicitudes por provincia andaluza:

1. c) Aumento de eficacia y eficiencia en los procedimientos. Por ejemplo, el tiempo empleado para el procedimiento del expediente económico se ha reducido a la mitad.
2. d) Automatización de procedimientos. Validaciones de solicitudes previo a la matrícula y no solicitar documentos que obren en poder de la Administración o ésta pueda verificar (petición de DNI, requisito de acceso u otros).
3. e) Pruebas más fiables. Las preguntas de las pruebas pueden contener imágenes o audio, esto hace que la prueba adquiera mayor precisión a la hora de valorar las capacidades y competencias del alumnado. Por ejemplo, para las pruebas de idiomas se usan ficheros de audio. 
4. f) Mayor objetividad de las pruebas. Se han reducido las reclamaciones sustancialmente.

7.- Evolución de “Séneca exámenes on line”.

Actualmente el sistema de exámenes on line se encuentra en desarrollo para adaptarlo a las pruebas de acceso a ciclos formativos de grado medio y superior. El objetivo es reutilizar esta infraestructura en otras pruebas que lleva a cabo la Consejería de Educación y Deporte.