15 de junio de 2018

Resultados de la prueba adaptativa de inglés 2017

Cada año, los estudiantes de Primaria y Media son evaluados en sus conocimientos de inglés a través de una prueba en línea de corrección automática y una evaluación escrita. Esto permite observar el desempeño de los programas de enseñanza de inglés -en las modalidades docente presencial o docente remoto- y la evolución de los aprendizajes en Primaria a partir de 2014.

La prueba se realizó en noviembre de 2017 y estuvo dirigida a todos los estudiantes de 4º a 6º de Educación Primaria que aprenden inglés en modalidad presencial (programa del Departamento de Segundas Lenguas y Lenguas Extranjeras) o por videoconferencia (programa Ceibal en Inglés), estudiantes de 1º de Educación Media, y por primera vez se extendió a los estudiantes de 2º año de Educación Media.

El diseño, elaboración y administración de la prueba es resultado del esfuerzo conjunto del programa Ceibal en Inglés de Plan Ceibal; el Departamento de Segundas Lenguas y Lenguas Extranjeras del CEIP; las Inspecciones de Inglés del CES y CETP; la División de Investigación, Evaluación y Estadística de CODICEN; el Departamento de Monitoreo y Evaluación de Plan Ceibal; el British Council, en conjunto con técnicos especialistas.

La prueba es de carácter adaptativo, es decir, se ajusta al nivel de conocimientos de inglés de cada estudiante que la realiza. Este tipo de evaluaciones utilizan las actividades de un banco de ítems calibrados para estimar el nivel de desempeño del estudiante. Tiene una modalidad dinámica, las actividades que responde cada estudiante se gradúan en función de sus respuestas. De este modo, cada estudiante recorre un conjunto de actividades en función del desempeño que va demostrando. Dependiendo de que conteste correctamente una pregunta, la prueba le ofrece una pregunta de mayor o menor dificultad. Se trata de una herramienta muy adecuada para evaluar aprendizajes de una población muy diversa en sus contextos socioculturales, años de estudio de inglés, etcétera.

Al igual que en las ediciones anteriores, la prueba se implementó en línea a través de la plataforma SEA (Sistema de Evaluación de Aprendizajes) e incluyó tres componentes: un componente de comprensión lectora (vocabulario, lectura y gramática), un segundo componente de comprensión auditiva y, finalmente, uno de producción escrita. Los dos primeros componentes de la prueba son de modalidad adaptativa y corrección automática, en tanto el tercer componente no es de carácter adaptativo y su corrección es realizada por un equipo de docentes en forma diferida.

Objetivos de la evaluación

Los objetivos de la evaluación son:

  • Evaluar los conocimientos de inglés alcanzados por los niños de 4º, 5º y 6º año de Primaria en ambas modalidades de enseñanza de inglés y de 1º y 2º de Educación Media.

  • Generar un plan de evaluación permanente que permita ver el progreso interanual en los conocimientos de inglés.

  • Contribuir a la construcción de la continuidad de los aprendizajes de inglés a lo largo de todo el trayecto educativo.

  • Ofrecer a los estudiantes que toman la prueba un certificado que acredita los resultados obtenidos.

Diseño de la evaluación

Las actividades de la prueba fueron diseñadas por una unidad especializada del British Council y calibradas en una muestra representativa de centros educativos. El mismo banco de ítems (1765 en la edición 2017) es utilizado en Educación Primaria y Media, ajustándose al nivel de desempeño de cada estudiante.

La aplicación de la prueba fue programada de manera tal que el estudiante comenzaba con el test de comprensión lectora (Vocabulary, Reading y Grammar), continuaba con comprensión auditiva (Listening) y finalizaba con la consigna de producción escrita (Writing).

En el primer componente de la prueba (Vocabulary, Reading y Grammar), el estudiante respondía preguntas de opción múltiple y podía obtener un puntaje entre 0 y 1 500 puntos. El segundo componente consistía en escuchar breves archivos de audio y responder una pregunta de opción múltiple. La escala tenía un puntaje entre 0 y 1 500 puntos. Ambas escalas de puntaje fueron clasificadas en seis niveles (A0, A1-, A1+, A2-, A2+ y B1) asociados a los niveles de desempeño del Marco de Referencia Europeo de Enseñanza y Aprendizaje de Lengua con sus respectivos descriptores de logro. La tercera y última parte de la prueba consistía en una propuesta de producción escrita. A partir de una imagen y una serie de consignas, el estudiante debía realizar una producción escrita que se corregía posteriormente a partir de una rúbrica de seis niveles (A0, A1-, A1+, A2-, A2+ y B1).

En el caso de la primera y segunda parte de la prueba (tests adaptativos), la estimación del nivel de inglés era reportada en tiempo real. Una vez finalizada la prueba, el docente podía acceder a los resultados de sus estudiantes en los dos primeros módulos de la prueba a través de la plataforma SEA. En lo que respecta a las producciones escritas, estas fueron corregidas por un equipo de docentes entre los meses de diciembre de 2017 y marzo de 2018.

Conclusiones

La cuarta edición de la prueba adaptativa de inglés se llevó a cabo entre noviembre y diciembre de 2017. La prueba estuvo disponible para los estudiantes de 4º, 5º y 6º año de Educación Primaria; 1º de Educación Media y por primera vez se hizo extensiva a los estudiantes de 2º año de Educación Media.

Al igual que en ediciones anteriores, los resultados evidencian logros en el aprendizaje de inglés en Educación Primaria en las dos modalidades de enseñanza-aprendizaje. Al mirar los resultados por grado escolar, estos son mejores a mayor grado escolar, en los dos componentes adaptativos. Lo mismo sucede con los resultados de la prueba de escritura. De igual forma, cuanto menos crítico es el contexto de la escuela, mejores son los desempeños de los estudiantes.

Con el objetivo de contribuir a la construcción de la continuidad de los aprendizajes de inglés a lo largo de todo el trayecto educativo, resulta especialmente interesante analizar los resultados de 6º año de Educación Primaria. El 79.5 % alcanza un nivel A2 o más en la prueba de comprensión lectora. Los resultados en la prueba auditiva obran en el mismo sentido; 65.9 % de los estudiantes alcanzaron un nivel A2 o más. En lo que respecta a la producción escrita, apenas el 3 % alcanza un nivel A2 o más.

En esta edición, se incorporó una mirada a los resultados alcanzados por los estudiantes de 6º año que realizaron la prueba en las cuatro ediciones (2014-2017). La curva de aprendizaje tiene un gran salto en 2015, año en que un 65 % de los estudiantes de 6º año que realizaron la prueba obtuvieron un nivel A2 o más en la prueba de comprensión lectora; es decir, un 9 % más que los resultados obtenidos por 6º año en 2014.

En lo que respecta a Educación Media, los estudiantes que tomaron la prueba mostraron un desempeño más alto que los estudiantes de Primaria. De todas formas, no constituyen una muestra representativa de los estudiantes de 1º y 2º de Educación Media debido a la baja tasa de participación. El 82 % de los estudiantes de 1º de Media alcanzaron un nivel A2 o más en comprensión lectora, en tanto un 75 % alcanzó este nivel en la prueba auditiva. En el caso de los estudiantes de 2º año de Media, un 89 % de ellos alcanzaron un nivel A2 o más y un 80 % lo logró en la prueba auditiva. Con respecto al componente de escritura, se observa que los estudiantes de 2º año obtienen resultados sensiblemente mejores que los estudiantes de 1.er año.