Diagnóstico en Matemáticas

              NÚMEROS. Revista de didáctica de las matemáticas
Volumen 35, septiembre de 1998, páginas 3-10
Diagnóstico en Matemáticas
Fernando Hernández Guarch
Resumen
Comentaremos el "Diagnóstico General del Sistema Educativo" llevado a
cabo recientemente por el Instituto Nacional de Calidad y Evaluación, en lo
referente a los resultados escolares en el área de Matemáticas. Presentare­mos
la metodología, algunas de las preguntas formuladas y realizaremos algu­nas
observaciones generales.
Abstract
We will comment on the "Educational System's General Diagnosis"
achieved recently by the National Institute of Quality and Evauation, conceming
school results in the area ofMathematics. We will show the method, sorne of
the questions that were made, and do sorne general remarks.
Introducción
En los últimos días han aparecido en revistas y periódicos distintas infor­maciones
sobre los resultados obtenidos por los escolares españoles en un
estudio llamado Diagnóstico General del Sistema Educativo, realizado por
el Instituto Nacional de Calidad y Evaluación (INCE). Hace pocos meses fue
una encuesta internacional, el TIMSS (Third International Mathematics and
Science Study), realizada en 1995 con alumnos de 45 países de 7º y 8º curso
de la enseñanza obligatoria, Enseñanza General Básica (EGB) en el caso de
España, y en las que no quedábamos muy bien, lo que puso de moda este
asunto. España ya había participado en dos encuestas parecidas, realizadas en
1988 y 1991, y de las que se podían extraer similares conclusiones, pero en
aquel momento pasaron desapercibidas fuera del círculo de expertos que par­ticipó
en ellas. Otra encuesta que ha suscitado comentarios fue la de Evalua­ción
de la Educación Primaria, realizada en 1995, que pretendía conocer y
valorar lo que saben los alumnos al final del sexto curso de la EGB.
Dentro del Diagnóstico General del Sistema Educativo del INCE, rea­lizado
entre 1996 y 1998, una de las Comisiones se encargó de estudiar los
resultados escolares en distintas áreas, una de ellas las Matemáticas, y para
dos momentos diferentes de la escolarización de los alumnos: a los 14 años y a
4 Fernando Hernández Guarch
los 16 años, independientemente de si estaban cursando 8º de EGB o 2º de ·
Educación Secundaria Obligatoria (ESO) en el primer caso o si seguían estu­dios
en 2º del Bachillerato Unificado Polivalente (BUP), 4° de la ESO o 2º de
Formación Profesional de Primer Grado (FPI) en el segundo. A continuación
analizaremos algunos resultados interesantes del estudio, la metodología em­pleada
y las conclusiones más llamativas, siempre en lo referente a las Mate­máticas.
No haremos referencias a Canarias, puesto que no participamos en
este apartado del Diagnóstico.
Medición con escalas de rendimiento
En este estudio se cambió la forma tradicional de presentar los resultados.
En efecto, mientras que en el estudio de Evaluación de la Educación Prima­ria,
llevado a cabo por el INCE, o en el Third International Mathematics
and Science Study (TIMSS) nos daban los resultados como un porcentaje de
items contestados correctamente, siguiendo la llamada Teoría Clásica de los
Test, la encuesta del INCE que ahora comentamos nos los presenta en la
denominada escala de rendimiento, metodología basada en la Teoría de Res­puesta
al Item. Veamos ambas situaciones para explicar las diferencias y las
ventajas e inconvenientes de ambas.
En la encuesta del TIMSS, los resultados se presentaron como porcentajes
de las preguntas contestadas correctamente sobre el total de preguntas plan­teadas.
Así, recordemos que España obtuvo una media del 42% de respuestas
correctas en la encuesta pasada a 7º de EGB, siendo el porcentaje medio de
respuestas correctas del total de países del 49%, y un 51 % en alumnos de 8º de
EGB, siendo la media internacional de 55%. En Matemáticas, los escolares
españoles quedaron enmarcados en el 4º grupo de cinco posibles, obteniendo
una puntuación de 487 siendo la media internacional de 513 puntos, donde sólo
un 30%, aproximadamente, de nuestros alumnos consiguen superar este valor
medio y colocando a un menguado 2% entre el mejor 10% (es importante
darse cuenta del valor de los "extremos", ya que el 1 O ó 15% más bajo son
alumnos con una gran probabilidad de exclusión del sistema productivo y el 20
ó 25% más elevado son la "cantera" como futuros técnicos o científicos). En
la encuesta del INCE, la escala de rendimiento representaba el resultado que
habría obtenido cualquier sujeto que hubiera respondido a una prueba teórica
de 500 items. Esta prueba sería común para sujetos de 14 y 16 años (es una
escala común para los dos niveles de edad). Los resultados figuran en el grá­fico.
í
Diagnóstico en Matemáticas 5
Se establecen unos "puntos de corte" con aquellas capacidades asociadas que
los sujetos que obtienen una puntuación igual o superior "saben" o "saben
hacer". Asignar significado a los distintos puntos de la escala introduce un
elemento criterial en la evaluación. En la elección de los puntos de corte o
anclaje está el elemento más débil de la prueba puesto que son excesivamente
empíricos y poco precisos, siendo necesario definir los perfiles "a priori", para
poder evaluar si se han alcanzado los objetivos de aprendizaje propuestos en
cada etapa educativa.
Gráfico 3. Distribución del rendimiento en Matemáticas
"' g 60%
E :::1 50% j - - --- - ------,,-,
ñi
Q) 40% -1------------l
"O
Q) 30% ·t----~----i
'(ij'
'E 20% -1-----l
Q)
~ 10% -1------l
o 0,9% 0,1%
Q. 0% +---~-'-"-''+--L-'-'-'
101-150 151·200 201-250 251-300 301-350
Niveles de la escala de rendimiento
351-400
O 14 años
•16 años
He aquí los significados de algunos valores de rendimiento en Matemáticas:
Nivel 150: Maneja las operaciones algebraicas básicas con números
fraccionarios sencillos.
Nivel 200: Resuelve problemas elementales de la vida cotidiana con: opera­ciones
algebraicas sencillas, estimaciones y redondeos y conceptos intuitivos
de estadística. Sabe interpretar gráficas simples. Expresa y reconoce pro­blemas
fáciles con lenguaje algebraico.
Nivel 250: Resuelve problemas elementales de la vida cotidiana en los que se
encuentran relaciones de proporcionalidad numérica y porcentajes. Conoce
cuerpos planos y tiene nociones de la geometría del triángulo, semejanza
entre figuras, etc. Resuelve ecuaciones lineales simples. Tiene algunas no­ciones
de probabilidad y es capaz de estimarla en situaciones no complejas
(aplicación de la ley de Laplace ). Construye gráficas sencillas y puede inter­pretar
tablas de frecuencias.
Nivel 300: Comienza a utilizar el lenguaje algebraico para resolver problemas
prácticos. Utiliza y opera con soltura los números fraccionarlos en proble­mas
de la vida cotidiana. Maneja con soltura el concepto de proporcionali-
6 Fernando Hernández Guarch
dad numérica y lo aplica en situaciones prácticas. Comprende, conoce y
estima longitudes y superficies de espacios y objetos, y maneja sus sistemas
de medida. Comienza a utilizar la aproximación por exceso o defecto y po­see
nociones de redondeo.
Nivel 350: Maneja con soltura las representaciones de figuras, cuerpos y
configuraciones geométricas utilizando adecuadamente las unidades de me­dida
para: resolver problemas de estimación de superficies y volúmenes, y
realizar transformaciones geométricas. Utiliza correctamente las potencias
en la resolución de problemas. Resuelve problemas sencillos de la vida coti­diana
utilizando herramientas algebraicas básicas. Conoce e interpreta con­ceptos
estadísticos básicos y puede estimar muestras en situaciones senci­llas.
Domina la relación de proporcionalidad y utiliza con soltura las propor­ciones
y porcentajes en la resolución de problemas complejos.
Nivel 400: Posee una alta capacidad espacial que le permite estimar la medi­da
de superficies planas y volúmenes regulares. Utiliza las herramientas
algebraicas básicas que le permiten la manipulación de expresiones con sím­bolos
para la resolución de problemas. Interpreta y asigna correctamente
probabilidades a fenómenos aleatorios complejos.
La encuesta del TIMSS está pensada para "ordenar" a los países partici­pantes,
mientras que en la del INCE, sabiendo cuántos sujetos superan un
determinado punto de anclaje y sabiendo qué conocimientos y capacidades
están asociados a ese punto de anclaje, se tiene una visión clara de los rendi­mientos
obtenidos por los alumnos evaluados.
La prueba
La prueba estuvo formada por cinco tipos de contenidos. En "Números y
operaciones" es donde se consiguieron mejores resultados a los 14 años, que­dando
este bloque en segundo lugar a los 16. "Álgebra y funciones" fue el
mejor apartado a los 16 y uno de los dos peores a los 14. La "Medida" fue otra
de las últimas a los 14 y la peor a los 16. La "Geometría" para los alumnos de
14 años quedó en segundo lugar y en el cuarto a los 16. El bloque de "Análisis
de datos estadística y probabilidad" fue el segundo, empatado con la "Geome­tría",
a los 14 años y el tercero a los 16.
La prueba se le entregaba a los alumnos en unos cuadernillos con 45 pre­guntas
a las que debían contestar en una hora. Los resultados fueron corregi­dos
con un "escáner".
Diagnóstico en Matemáticas 7
Los resultados a los catorce años
A esta edad los técnicos del INCE aceptan como satisfactorios los conoci­mientos
y habilidades que definen los 250 puntos, siendo la media de 226.61
(insatisfactoria, por tanto), pudiendo utilizar como criterios de valoración la
distancia entre la media y los 250 puntos, 23 .39 puntos, el porcentaje de alum­nos
que alcanzan los 250, sólo el 28.1 %, los que superan el 200 (mínimo admi­sible),
el 72.3%, y los que pasan del 300 (alumnos muy buenos), el 3.9%. Los
resultados indican que los alumnos de 2º de ESO superan a los de 8° de EGB y
los chicos a las chicas. A continuación hemos recogido dos preguntas de las
utilizadas, una con un gran índice de aciertos y otra con muy pocos.
Item 4 Edad: 14 Años Porcentaje de respuestas correctas 19%
Un ángulo de un paralelogramo mide 40º. ¿Cuánto miden los otros tres
ángulos?
a)
b)
c)
d)
e)
Todos 40º
Uno 40º y cada uno de los otros dos 150º
Uno 40º, otro 100º y el tercero 220º
Uno 40º y cada uno de los otros dos 140º
Uno 40º, otro 120º y el tercero 200º
Probabilidad de que un alumno responda correctamente al ítem por niveles
de dominio
Item 23
150
0,11
200
0,13
Edad: 14 Años
226,61
0,17
250
0,23
300
0,51
350
0,83
Porcentaje de respuestas correctas 77%
El bote de 3 pelotas de tenis cuesta 540 pesetas. ¿Cuántos botes compra-remos
con 2000 pesetas?
a) 5
b)7
c)12
d) 9
e) 3
Probabilidad de que un alumno responda correctamente al ítem por niveles
de dominio
150
0,47
200
0,68
226,61
0,78
250
0,85
300
0,94
350
0,98
8 Fernando Hernández Guarch
Los resultados a los dieciséis años
La media es 263 .31 puntos. El mínimo sería ahora, siempre según los técni­cos
del INCE, de 250, que es superado por el 61.3% de los alumnos, el valor
satisfactorio el 300 (la media queda a 36.69 puntos por debajo), sólo alcanzado
por el 22,4%, y el 350 el punto para reconocer a los alumnos notables, 2.8%.
Todos los resultados señalan que estamos peor que a los 14 años, aunque,
obviamente, se observa una evolución positiva en las capacidades evaluadas.
En este grupo los primeros serían los de 2ºde BUP, a continuación se colocan
los de 4° de ESO, quedando en último lugar los de 2º de FPI. Los alumnos de
los centros públicos de 4° de ESO superan a los de ese curso de los centros
privados y los chicos a las chicas. Veamos dos preguntas "extremas":
Item 4 Edad: 16 Años Porcentaje de respuestas correctas 22%
¿Cuántos cm2 de cartón se necesitan para construir una caja, con tapa,
de dimensiones 5cm, 6 cm Y 10 cm?
a) 140
b)220
c) 250
d)280
e) 300
lOcm
Probabilidad de que un alumno responda correctamente al ítem por nive­les
de dominio
150 200 250
0,08 0,09 0,14
Item 10 Edad: 16 Años
263,31
0,16
300
0,30
350
0,63
Porcentaje de respuestas correctas 72%
A Luis le han puesto una multa de 5.000 pts. por no llevar el casco; si paga
en el acto le hacen un descuento del 20% y si no, tiene un recargo del 30%.
Como no lleva suficiente dinero encima, ¿cuánto tiene que pagar?
a) 4.000 pts.
b) 6.000pts.
c) 6.500 pts.
d) 3.500 pts.
e) 7.500pts.
Diagnóstico en Matemáticas 9
Probabilidad de que un alumno responda correctamente al ítem por niveles
de dominio
150
0,27
200
0,47
250
0,72
263,31
0,7
Conclusiones generales de la encuesta
300
0,89
350
0,96
Como quedó dicho, en la elección de los puntos de corte o anclaje está el
elemento más débil de la prueba, puesto que son excesivamente empíricos y
poco precisos, siendo necesario definir los perfiles "a priori", para poder eva­luar
si se han alcanzado los objetivos de aprendizaje propuestos en cada etapa
educativa.
Por otra parte, para tratar de "justificar" los bajos rendimientos quisiera
hacer notar que existe una política institucional en la enseñanza obligatoria que
conduce, de una forma "buscada" a situaciones de ineficiencia académica.
Hay países donde, con un sistema selectivo, se agrupa homogéneamente a los
alumnos, lo que posibilita un mejor aprendizaje de los mejores con la consi­guiente
subida de la media. En España, se ha optado por una enseñanza com­prensiva
e integradora en la que se persiguen objetivos más relacionados con
la equidad y con la convivencia.
Como tercer, y último, elemento precautorio en este breve comentario, qui­siera
hacer notar que está admitido el que en todas las evaluaciones de resul­tados
los escolares obtienen un éxito que depende de forma importante del
nivel cultural y, aunque menos, económico de la familia. Copio literalmente de
la OCDE: Los resultados del tercer estudio internacional sobre las mate­máticas
y las ciencias muestran que existe una clara relación entre los
factores socio-económicos, tales como la educación de los padres o -los
recursos educativos de la familia, y los resultados de los alumnos. En el
conjunto de los países de la OCDE, los alumnos cuyos padres no han
terminado una formación a nivel equivalente a la enseñanza secundaria
del segundo ciclo obtienen como media en matemáticas unos resultados
26 puntos inferiores a los de sus compañeros, de los que al menos uno de
los padres ha obtenido un diploma de la enseñanza secundaria de segun­do
ciclo ... Si la comparación se efectúa con los resultados de los alumnos
cuyos padres tienen un nivel de formación superior, la diferencia sobre­pasa
los 55 puntos ... . Y debemos recordar que en España únicamente el
16% de ciudadanos del grupo de edad de 45 a 54 años poseen el segundo ciclo
de secundaria, lo que podría ayudar a explicar los malos resultados obtenidos.
10 Fernando Hernández Guarch
Algunas propuestas
Conocer las capacidades que alcanzan los alumnos a distintas edades es
fundamental para evaluar correctamente el sistema educativo. Es, por tanto,
necesario realizar encuestas como la que comentamos. Los resultados obteni­dos
deben tener la mayor difusión posible entre profesores que deben encon­trar
en ellos un referente para su tarea. La creación de un banco de datos con
series cronológicas actualizadas debe ser abordada por el INCE, el Instituto
Canario de Calidad y Evaluación Educativa (ICEC) y demás organismos equi­valentes.
Bibliografia
INCE (1996): Evaluación de la Educación Primaria. Lo que aprenden los
alumnos. Datos Básicos 1995. MEC , Madrid.
INCE (1998): Diagnóstico General del Sistema Educativo. Avance de Re­sultados.
MEC, Madrid.
López Varona, J.A. y Moreno Martínez Mª L. (1997): Resultados en Mate­máticas.
Tercer Estudio Internacional de Matemáticas y Ciencias
(TIMSS). INCE. MEC, Madrid.
Femando Hemández Guarch es Doctor en Ciencias Matemáticas, ha sido
profesor de las Universidades de La Laguna y de las Palmas. Es Catedrá­tico
de Bachillerato y actualmente es Inspector de Educación. Tiene nu­merosas
publicaciones en revistas nacionales e internacionales. Ha parti­cipado
en el estudio sobre educación secundaria realizado por el Instituto
Nacional de Calidad y Evaluación (INCE) y pertenece al Comité Cientí­fico
del Instituto Canario de Evaluación y Calidad Educativa (ICEC).