mdC
|
pequeño (250x250 max)
mediano (500x500 max)
grande
Extra Large
grande ( > 500x500)
Alta resolución
|
|
Sociedad Canaria Isaac Newton de Profesores de Matemáticas http://www.sinewton.org/numeros Volumen 78, noviembre de 2011, páginas 95–112 ISSN: 1887-1984 Coherencia entre criterios de evaluación y prácticas evaluativas de matemática Patricia Villalonga de García, Susana González de Galindo y Susana Beatriz Mercau de Sancho (Universidad Nacional de Tucumán. Argentina) Fecha de recepción: 1 de noviembre de 2010 Fecha de aceptación: 26 de mayo de 2011 Resumen Para diagnosticar el sistema de evaluación del aprendizaje de un curso universitario masivo de Matemática de una Facultad de ciencias, en un artículo anterior, se establecieron criterios orientadores basados en teorías cognitivas de aprendizaje. En base a tales criterios, se implementaron encuestas a alumnos y docentes y se analizó el diseño de los exámenes escritos. Se presenta aquí el diseño y validación del cuestionario aplicado a los docentes y se analizan sus resultados. Siguiendo principios de Samaja se construyó el objeto modelo de esta investigación, y se ideó un procedimiento de análisis, de tipo formal, basado en sistemas de matrices de datos, útil para estudiar los datos de cualquier investigación empírica. Se dedujo que existe escasa coherencia entre los criterios de evaluación y la práctica evaluativa implementada. Palabras clave Evaluación del aprendizaje; criterios; enfoque cognitivo; estándares N.C.T.M.; encuesta a docentes; objeto modelo; investigación empírica; Samaja. Abstract In a previous article and in order to diagnose the learning assessment system of a massive university course of Mathematics of a Faculty of Science, guiding criteria were established which were based on cognitive theories of learning. On the basis of those criteria surveys for students and teachers were implemented and the design of written examinations was discussed. We present here the design and validation of the questionnaire given to teachers and their results are analyzed. The model object for this investigation was built by following Samaja’s principles, and an analysis procedure of a formal type -based on systems of data matrixes- was developed which is useful for studying the details of any empirical research. It was deduced that there is little consistency between the evaluation criteria and the evaluation practice implemented. Keywords Learning Assessment, criteria, cognitive approach, NCTM standards, survey for teachers, object model, empirical research, Samaja. 1. Introducción Matemática I es una asignatura del primer cuatrimestre de primer año de la Facultad de Bioquímica, Química y Farmacia de la Universidad Nacional de Tucumán, Argentina. Su currículo, de tipo técnico, abarca los contenidos sostenes del Cálculo Diferencial y de Integral indefinida de funciones de una variable, necesarios para el aprendizaje de otras asignaturas de las especialidades cursadas en la Facultad. En el año 2007 el número inicial de alumnos fue de 420 estudiantes con una relación docente alumno de 1/70 en clases prácticas y 1/420 en clases teóricas. El docente desempeñó un rol protagónico y resultaron escasas las situaciones de comunicación entre los distintos participantes del proceso educativo. Las evaluaciones llevadas a cabo mediante dos pruebas parciales Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 96 Vol. 78 noviembre de 2011 NÚMEROS y un examen final integrador, fueron realizadas mediante pruebas de papel y lápiz, en fechas prefijadas con antelación. Se consideró que todos estos problemas tendrían influencia en la calidad de la enseñanza y evaluación del aprendizaje. Intentando mejorar la enseñanza y superar la limitación de realizar en cursos masivos sólo evaluación sumativa se diseñó el proyecto: “Estrategia didáctica que valoriza la regulación continua del aprendizaje en aulas multitudinarias de Matemática”. El mismo fue aprobado por el Consejo de Investigaciones de la Universidad Nacional de Tucumán (CIUNT) Argentina. Este proyecto, siguiendo lineamientos de teorías cognitivas y considerando las limitaciones del contexto, propone integrar la regulación en las situaciones de aprendizaje, diseñando actividades que no requieren intervención continua del profesor y favorecen la interacción social. Para construir el marco conceptual del proyecto se estudiaron principios de enfoques cognitivos sustentados por la Teoría Psicogenética de Piaget, el Enfoque Histórico Cultural de Vigotsky y seguidores y la Teoría del aprendizaje significativo de Ausubel. Además, se analizaron lineamientos para la regulación y autorregulación del aprendizaje sostenidos por Jorba y Casellas y principios de los Estándares de evaluación del aprendizaje de la Matemática del National Council of Teachers of Mathematics (N.C.T.M) (Jorba y Casellas, 1997; Camillioni et al., 1998; Pérez González, 2000; Hernández Fernández, Delgado Rubí, y Fernández de Alaíza, 2001; Pacheco, 2005; Moreira y Caballero, 2008; N.C.T.M, 1995, 2000). Del marco teórico se derivaron una serie de criterios orientadores de la evaluación del aprendizaje de la Matemática, que se constituyeron en referentes durante el desarrollo del proyecto (Villalonga de García, 2006, pp. 60-65; Villalonga, González, Holgado, Marcilla y Mercau, 2009; pp.1812-1829). En base a estos criterios, se estableció el siguiente objetivo general: diseñar e implementar en aulas multitudinarias de Matemática, una estrategia didáctica que recurre al empleo de un material curricular elaborado ad hoc. Esta estrategia pretende favorecer aprendizajes significativos, valorizar la regulación continua del aprendizaje y contribuir a mejorar la calidad de la evaluación del aprendizaje, limitada en la asignatura sólo a evaluaciones sumativas. La descripción de la estrategia fue plasmada en un trabajo previo (González de Galindo, Villalonga de García y Marcilla, 2009, pp. 3-13). Para analizar las metodologías de evaluación vigentes en esta asignatura se consideraron los resultados de una encuesta a alumnos del año 2007, se analizó el diseño de los exámenes escritos de ese año (únicos instrumentos de evaluación del aprendizaje implementados de manera sistemática) y se encuestó a docentes de la asignatura en el año 2008 (Villalonga de García, González de Galindo, Mercau de Sancho y Marcilla, 2009, pp. 658-668; Villalonga de García y González de Galindo, 2009, pp. 169-180; Villalonga, González, Mercau, Holgado y Marcilla, 2009, pp. 1-10). Este artículo presenta: a) la construcción y validación del cuestionario aplicado a los docentes (ver Anexo 2), b) el diseño del espacio de atributos propio de este estudio, empleado como instrumento para analizar la información obtenida de la encuesta y c) los resultados obtenidos de la misma. Siguiendo principios de Samaja se construyó el objeto modelo de esta investigación, basado en sistemas de matrices de datos, el cual se utilizó como procedimiento de análisis, para estudiar los datos del cuestionario. Lo más notable de los principios de Samaja es que dentro de la teoría clásica de la metodología de investigación, basada en variables, presenta, desde la perspectiva de la dialéctica, a los sistemas de matrices de datos como soporte básico del diseño investigativo, los cuales permiten formalizar el objeto modelo de cualquier tipo de investigación empírica. De esta manera se consigue, simultáneamente, la integración y complementariedad de las denominadas, por otros autores, técnicas cualitativas y cuantitativas. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 97 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 El análisis de los datos de la encuesta permitió, con un costo de tiempo mínimo, deducir que existiría escasa coherencia entre los criterios generales que orientan la evaluación del aprendizaje y las prácticas evaluativas en uso. 2. Marco teórico 2.1. Criterios generales orientadores de la evaluación del aprendizaje de la Matemática El marco teórico se construyó integrando principios de la teoría Psicogenética de Piaget, del Aprendizaje Significativo de Ausubel, del Enfoque Histórico Cultural de Vigotsky y de los estándares de evaluación del National Council of Teachers of Mathematics. En un trabajo anterior, basándose en la concepción de aprendizaje promovida por estas teorías cognitivas, se construyó una serie de criterios generales orientadores para evaluar el aprendizaje de la Matemática (N.C.T.M., 1995; N.C.T.M., 2000; Jorba y Casellas, 1997; Fernández de Alaíza García, 2001, pp.27-31; Villalonga de García, 2006, pp.60-65; Moreira, 2008; Villalonga, González, Holgado, Marcilla y Mercau, 2009, pp.1812-1829). Estos criterios establecen que la evaluación del aprendizaje debiera: -Con relación al aprendizaje del estudiante: 1) Enriquecer el aprendizaje de la matemática. Este objetivo se alcanzará en la medida que la evaluación del aprendizaje sea continua e integral, y se caracterice por: a) Retroalimentar el proceso de enseñanza aprendizaje, informando al estudiante de los progresos logrados en el aprendizaje, b) Optimizar la comunicación entre los participantes, c) Desempeñar una función motivadora y educativa, y d) Formar a los alumnos como aprendices independientes mediante el empleo de técnicas autoevaluativas. -Respecto al conocimiento matemático de los alumnos: 2) Enfatizar objetivos y contenidos relevantes. Es decir, aquellos destacados por el currículo y por los estándares de evaluación del N.C.T.M, que sean motivantes y coherentes con el nivel de desarrollo del estudiante. Además, se sobreentiende de que la evaluación debe indagar sobre contenidos integrados: conceptos, procedimientos y actitudes, y, ser un instrumento para desarrollar el pensamiento del alumno, el espíritu crítico y la creatividad. -Acerca de la manera de implementarla: 3) Promover la igualdad de oportunidades (equidad). Esto implica, brindar un trato diferenciado a cada estudiante según sus características, potencialidades y limitaciones, ofreciéndole oportunidades para evaluar e incrementar su potencia matemática1 (N.C.T.M., 1995). 1 “La potencia matemática incluye la habilidad para explorar, efectuar conjeturas, y razonar lógicamente; para resolver problemas no rutinarios; para comunicar ideas matemáticas, y comunicarse usando la matemática como herramienta; y conectar ideas dentro de la matemática y, entre matemática y otra actividad intelectual. La potencia matemática también involucra el desarrollo personal de la auto-confianza y la disposición de buscar, evaluar y emplear información cuantitativa en la resolución de problemas y en la toma de decisiones. La flexibilidad del estudiante, perseverancia, intereses, curiosidad e inventiva también contribuyen a alcanzar la potencia matemática” (N.C.T.M., 1995). Corresponde a una traducción efectuada por las autoras, extraída del glosario de la versión electrónica de los estándares del N.C.T.M. del año 1995. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 98 Vol. 78 noviembre de 2011 NÚMEROS 4) Ser un proceso abierto. Es decir, todos los implicados deben tener información sobre él, conocer los criterios de evaluación e interpretar los resultados de la misma. 5) Promover inferencias válidas acerca de aprendizajes significativos de la matemática. Este tipo de inferencias se logra: i) Con un programa pertinente de evaluación que emplee múltiples fuentes de información: observación, entrevistas, situaciones problemáticas abiertas y cerradas, diarios del profesor, pruebas de papel y lápiz, proyectos, portafolios etc. ii) Planificando los instrumentos de evaluación respetando tres momentos: diagnóstico, formativo y sumativo. iii) Empleando instrumentos válidos y confiables, y iv) Evaluando, también, objetivos no previstos. 6) Ser un proceso coherente con lo enseñado. 7) Ser una herramienta valiosa para la toma de decisiones para la enseñanza y el aprendizaje. Las decisiones serán efectivas si: a) provienen de un programa de evaluación cuyas actividades son coherentes con la experiencia, conocimientos previos y necesidades de los estudiantes, b) brindan al docente información relevante acerca de aprendizajes significativos del estudiante que le permitan retroalimentar el proceso de enseñanza y c) otorgan al estudiante oportunidades para realizar gestión de errores y refuerzo de sus éxitos. 8) Mejorar aspectos generales de la personalidad del estudiante (tolerancia, colaboración, solidaridad, comprensión, corrección para obrar, respeto ante el trabajo ajeno, etc.). Villalonga de García (2006, pp. 60-65), enuncia además, una serie de criterios específicos para evaluar los contenidos de la disciplina matemática. Estos criterios se refieren a evaluación de conceptos, procedimientos, resolución de problemas matemáticos, comunicación matemática y actitudes hacia la matemática. 2.2. Marco teórico de la metodología de investigación Se presenta en este apartado una apretada síntesis de los principios de Samaja (2003) sobre los que se funda el diseño del objeto modelo de cualquier investigación empírica. Se sugiere al lector recurrir a la bibliografía para ahondar detalles de esta teoría. El objeto modelo de investigación fue construido a partir de la concepción ternaria de ciencia refrendada por Pierce y por Samaja (Pierce, 1988). Dicha concepción considera que la idea de ciencia resultante de la operación hipotético-deductiva es restringida, por ello incorpora a la misma el conocimiento proveniente del mundo de la vida (la praxis o pragma) obtenido por la experiencia de protagonismo del sujeto al interactuar con el medio. En esta idea de ciencia, basada en el enfoque de la Teoría Fundada de Glaser y Strauss (Kornblit, 2004, pp.47-76), el investigador construye sus propias teorías sobre la realidad que indaga, obteniendo las categorías e indicadores del estudio durante el proceso. En consecuencia, el sujeto se relaciona subjetivamente con el objeto de conocimiento. Además, Samaja al superar la clásica dicotomía inducción-deducción, incluye en la ciencia otras formas de inferencias que considera válidas: la abducción y la analogía (Samaja, 2003, pp.104-108). La tarea en toda investigación empírica es interpretar en términos teóricos los hechos de la experiencia. Dado que todo objeto real de estudio es complejo, es necesario que el indagador, en base a modelos preexistentes al acto investigativo: consecuencias de la historia personal, intuiciones, experiencia y circunstancias, o sea, en base a la preconcepción modelizante (Ladrière, 1978), efectúe una reducción de su complejidad, explicitando qué aspectos relevantes de sus componentes tendrá en cuenta y qué procedimientos concretos usará para llevar a cabo su descripción (Samaja, 2004). Es decir, debe construir un objeto modelo mediante el cual describirá al objeto de estudio basándose en un sistema propio de categorías. En esta etapa de la tarea científica, la acción y la modelización interactúan de manera que una determina sucesivamente a la otra. El concepto de operación o Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 99 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 procedimiento de relación entre conceptos es fundamental como lenguaje traductor apropiado de ser aplicado tanto en las hipótesis como en los datos experimentales. El autor caracteriza a las operaciones como: “a. acciones de transformación, b. de naturaleza formal, c. que pueden ser tematizadas (y ser incorporadas en operaciones de nivel más elevado), c. son generalizables; y d. no se dan aisladamente sino que están inscriptas en redes operatorias” (Samaja, 2003, p.158). Para emplear este lenguaje será necesario un intermediario del objeto de estudio: el objeto modelo. Samaja (2003) considera cuatro operaciones básicas propias de la tarea científica: 1) El procedimiento de selección de las unidades de análisis (Entificación). 2) El procedimiento de identificación de variables y de sus valores (Categorización). 3) Los procedimientos que se ponen en juego con las dimensiones de las variables para llegar a los indicadores (Operacionalización). 4) El procesamiento de las observaciones, condicionado por las operaciones anteriores. El mismo, podrá realizarse centrado en las variables, en las unidades de análisis o en los valores (Procesamiento). Las cuatro operaciones, mediadoras entre el plano de los hechos y el plano de las ideas, constituyen los procedimientos necesarios para la determinación del objeto modelo o sistema de matrices de datos. Desde esta perspectiva todo “dato” (Samaja, 2003, p.160) de cualquier investigación empírica, posee una estructura compleja invariante de cuatro componentes: unidad de análisis (UA), variables (V), valores (R) e indicadores (I). Esta estructura se denomina matriz de datos y en ella el indicador es el procedimiento aplicado a cada dimensión relevante de la variable para efectuar su medición o valoración. Tales procedimientos incluyen desde el empleo de un indicio perceptivo simple, hasta la construcción de escalas o números índices que combinan muchos ítems o dimensiones de una variable compleja. A esta noción conviene agregar una representación espacial, como se muestra en la Figura 1 (Samaja, 2004, p. 49), que ayude a advertir el carácter jerárquico de algunas relaciones que se dan entre los cuatro elementos de la estructura del dato. En este diagrama debajo del símbolo del valor (R), figura el símbolo del indicador (I), que está en relación de igualdad con la dimensión y el procedimiento, cuyos símbolos (d) y (p) están inmediatamente por debajo de la variable (V). Esta ubicación en el diagrama busca sugerir la relación de subordinación de la dimensión a la variable. Figura 1: Estructura del dato científico. Carácter jerárquico de sus componentes (Samaja, 2004, p. 49). El conjunto de variables relevantes que se eligen para describir el objeto real de la investigación se denomina espacio de atributos. El objeto modelo de la investigación queda delimitado, entonces, por los distintos tipos de unidades de análisis escogidas para la investigación mediante la aplicación de un espacio de atributos propio de cada unidad de análisis. De esta manera, dentro de la teoría clásica de la metodología de la investigación basada en variables, Samaja (2003) replantea la teoría de Galtung (1978, pp. 1-21). Según este autor, en ciencias sociales cualquier dato posee una estructura que puede representarse a través de una matriz de tan sólo tres componentes: unidades de análisis, variables y valores. Samaja (2003), ampliando esta perspectiva en la dirección de una metodología dialéctica, propone en su tesis tres postulados: UA (unidad de análisis) V (variable) R (valor de la variable) d (dimensión) p (procedimiento) I indicador Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 100 Vol. 78 noviembre de 2011 NÚMEROS 1. En cualquier ciencia empírica todos los datos de una investigación científica pueden subsumirse a una matriz de datos, con lo cual dicha matriz asume el carácter de invariante estructural del dato científico. 2. Todas las investigaciones poseen datos de distinto nivel, por lo cual no existe una única matriz sino un sistema de matrices de datos que dan cuenta de diferentes niveles de integración. 3. La estructura del dato no es tripartita sino cuatripartita, pues agrega al dato un cuarto elemento, los indicadores oportunamente definidos como “procedimientos aplicados a cada dimensión de la variable para efectuar su medición o valoración”. Lazarfeld y Galtung sólo seleccionan la o las dimensiones relevantes de las variables para interpretar el sentido global de las mismas, pero no le otorgan un status epistemológico a los procedimientos u operaciones que se deberán llevar a cabo para observar la configuración de cada dimensión (Galtung, 1978, pp. 1-21). Para ambos autores la dimensión es observable por sí misma. En cambio, Samaja, sosteniendo el principio kantiano de que no hay intuición de conceptos, afirma que como la dimensión es un concepto no puede ser observable por sí misma. Considera necesario la existencia de un enlace entre los sentidos y el concepto de dimensión. Ese intermediario es el procedimiento o operación. De acuerdo a Samaja (2003, p.190), Todo dato está cargado de praxis y por estarlo, puede ser un eslabón entre los hechos y los conceptos por ello incluye al indicador en la estructura del dato y lo define compuesto por la dimensión de la variable más el procedimiento. De esta manera, Samaja (2003; 2004) sostiene que la descripción de un objeto complejo, y en principio, todo objeto de estudio en el área educativa es complejo, puede realizarse mediante un sistema, considerado como una clase especial de modelo. La noción de sistema permite descomponer un objeto complejo en diversos elementos con el fin de facilitar su análisis. Precisamente, estudiando el estado de un sistema en un punto determinado y evaluando sus elementos será posible compararlo con el de un estado subsiguiente. El concepto de operación permite imprimir a la organización jerárquica de los hechos de la realidad, una connotación dinámica de gran importancia para el establecimiento de un sistema. De esta manera se da una dialéctica interna al mismo: sistema / suprasistema / subsistema. Sin embargo, es necesario puntualizar que para que este esquema funcione se debe entender que todo individuo pueda ser concebido como un colectivo y todo colectivo pueda ser concebido como un individuo. Así, en toda investigación empírica se determinan como mínimo tres matrices de datos relacionadas entre sí, constituyentes de un sistema de matrices de datos (Samaja, 2003, pp. 160-189): a) Una matriz central identificada con la matriz objetivo de la investigación, llamada matriz focal o de anclaje. b) Una matriz constituida por los contextos de las unidades de análisis del nivel de anclaje, llamada matriz de nivel supraunitario o contextual. c) Una matriz constituida por los componentes (partes) de las unidades de análisis del nivel de anclaje, llamada matriz de nivel infraunitario. Algunas de las relaciones que pueden darse entre los tres niveles de matrices, son: a) las variables del nivel inferior pueden funcionar como dimensiones (o sea subvariables) de los indicadores del nivel superior; b) las unidades de análisis del nivel inferior pueden considerarse como variables del nivel superior; y, c) las unidades de análisis del nivel superior pueden obrar como contextos relevantes del nivel inferior. Estas relaciones indican que cada matriz de datos puede ser un elemento de un sistema pero, a su vez, en un nivel de integración inferior, ella misma puede ser un sistema siendo sus elementos los componentes del mismo. El diagrama que muestra la Figura 2 fue diseñado por Samaja (2004, p.52) y brinda aproximadamente las relaciones jerárquicas que presentaría un sistema elemental de matrices de Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 101 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 datos. En el mismo, las flechas verticales unen elementos diferentes de las matrices de datos de distinto nivel. Con una flecha de trazo simple, une a la variable V del nivel inferior con el valor R del nivel inmediato superior; con una flecha de trazo doble, une a la unidad de análisis UA del nivel inferior con una variable V del nivel superior; y con una flecha horizontal con líneas de puntos, se simboliza la proyección de la unidad de análisis UA del nivel superior sobre el nivel inferior como variable contextual. Las flechas horizontales de trazos simples unen componentes del dato de un mismo nivel de integración. Figura 2: Relaciones jerárquicas que presenta un sistema elemental de matrices de datos (Samaja, 2004, p. 52) Es importante destacar que la presencia del indicador en la matriz de datos, se justifica a partir de su papel como mediador entre matrices de distinto nivel de integración, a la vez que incorpora al procedimiento como parte de él. Además, el indicador, al remitir al procedimiento, permite vincular un concepto con un “estado de cosas” del mundo externo, a través de la observación de una o más dimensiones de dicho concepto (Samaja, 2003). 3. Metodología 3.1. Las preguntas de investigación Los criterios del modelo evaluativo seleccionado, además de servir como guías orientadoras para la indagación, originaron una serie de interrogantes motivo de reflexión en el contexto de la asignatura abordada en este estudio: ¿Se realiza evaluación sistemática en forma continua? ¿Es retroalimentado el proceso de enseñanza y aprendizaje en función de los resultados de las evaluaciones? ¿Tienen relevancia para el estudiante los contenidos evaluados? ¿Se evalúa con tareas coherentes a las efectuadas en clases? ¿Se prevén actividades de evaluación que permitan al estudiante monitorear sus logros y errores? ¿Se considera a la evaluación como instrumento que permite optimizar la comunicación de los participantes, motivar al alumno y formar aprendices independientes? ¿Se evalúa el incremento de la potencia matemática del alumno? ¿Se reflexiona sobre el grado de incidencia de la metodología de enseñanza y de los procedimientos de evaluación, como responsables en gran medida del fracaso de los estudiantes? Estos interrogantes llevaron a enunciar la siguiente hipótesis sustantiva de investigación de tipo descriptiva. R V UA (Contexto) Nivel Supraunitario R V UA (Texto) Nivel Focal (anclaje) R V UA (Subtexto) Nivel Infraunitario Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 102 Vol. 78 noviembre de 2011 NÚMEROS 3.2. La hipótesis de investigación “La evaluación del aprendizaje de Matemática 1, se realiza con una concepción reduccionista”. En esta hipótesis la particularidad atribuida a la evaluación del aprendizaje alude a que la misma se considera desintegrada de los procesos de enseñanza y aprendizaje, siendo equivalente a examen y empleada sólo con el fin de acreditar (Pérez González, 2000). Es decir, no existe coherencia entre los criterios de evaluación establecidos y las prácticas evaluativas de la asignatura. 3.3. Acciones llevadas a cabo para contrastar esta hipótesis. Sus condicionamientos Se consideró que las acciones realizadas para contrastar la hipótesis estarían condicionadas por los siguientes factores propios del contexto de la asignatura: baja relación docente alumno, estudiantes con excesivos compromisos horarios de los cuales podía disponerse muy poco tiempo para realizarles entrevistas, encuestas etc., imposibilidad por parte de las docentes participantes en esta investigación de alterar el normal funcionamiento de la asignatura. Teniendo en cuenta esta situación, se consideró que la manera más económica para recabar información acerca de la evaluación del aprendizaje sería mediante el empleo de: i) Los resultados de un trabajo previo: una encuesta a una muestra aleatoria representativa de alumnos evaluados en la asignatura en el año 2007 (Villalonga de García, González de Galindo, Mercau de Sancho y Marcilla, 2009, pp. 658-668). Dicha encuesta fue diseñada en base a los criterios del marco teórico. ii) El análisis de los ítems de todas las pruebas de evaluación sumativa (exámenes parciales y finales) del año 2007 (Villalonga, González, Mercau, Holgado y Marcilla, 2009, pp. 1-10; Villalonga de García y González de Galindo, 2009, pp. 169-180). iii) Una encuesta implementada en 2008 a todo el personal docente de la asignatura, cuyo diseño y análisis es el objetivo de este artículo. 3.4. El cuestionario Atendiendo a los criterios derivados del marco teórico y a características del contexto se diseñó un cuestionario con cinco ítems, tres de ellos de preguntas de respuestas cerradas con una o varias alternativas de elección y dos con preguntas abiertas (Vieytes, 2004, pp. 485-493). Se pretendía detectar, desde la perspectiva de los docentes, cuestiones relativas a la evaluación del aprendizaje y a los motivos de fracaso de los alumnos (ver Anexo 2): A) Si la práctica evaluativa implementada: 1) enriquecía el aprendizaje; 2) evaluaba contenidos relevantes; 3) estaba abierta a todos los participantes del acto evaluativo; 4) promovía inferencias válidas; 5) era un proceso coherente; y 6) facilitaba la toma efectiva de decisiones. Observación: dada las características del curso y la baja relación docente alumno, no puede otorgarse a cada estudiante igualdad de oportunidades y un trato diferenciado. Esta circunstancia llevó a dejar de lado el análisis de la equidad en este estudio. B) Las causas de fracasos de los estudiantes. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 103 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 3.4.1. Pilotaje La encuesta se aplicó a una muestra de tres docentes, a modo de encuesta piloto, con el fin de verificar la claridad de los ítems del cuestionario. Se realizaron luego las modificaciones pertinentes del mismo. 3.4.2. Sujetos Para responder el cuestionario se seleccionó a los diez docentes que participaron en el dictado de la asignatura Matemática 1 durante el primer cuatrimestre de 2008. 3.4.3. Estudio de las características técnicas del instrumento: validez y confiabilidad Se estudió la validez de contenido de la encuesta sometiéndola al juicio de jueces expertos en el tema, quienes comprobaron que los items respondían a los objetivos de la encuesta. La muestra de expertos se seleccionó teniendo en cuenta: años de experiencia docente, capacidad de análisis, espíritu crítico y vínculo con la enseñanza de la asignatura en la universidad. Los jueces seleccionados fueron cinco docentes universitarios de Física y Matemática abocados a la investigación en educación en ciencias. Debían responder al siguiente interrogante: ¿Están contemplados en los ítems de la encuesta todos los objetivos enunciados para su construcción? Ante esta cuestión los jueces debían, para cada uno de los objetivos enunciados, seleccionar una de las opciones: “Adecuadamente Contemplado”, “Medianamente Contemplado” y “No Contemplado”, considerando el grado en el que el objetivo había sido contemplado en las preguntas del cuestionario. Se testó mediante la prueba de rangos de Friedman la hipótesis nula de concordancia de las valoraciones asignadas por los jueces a cada objetivo. Prefijando un nivel de significación a = 0,05 se obtuvo un p-value = 0,107, con lo que se aceptaría la hipótesis de concordancia de las valoraciones asignadas a los objetivos por los cinco jueces. Además, es de destacar que en la concordancia de opiniones, primó en las respuestas la categoría “Adecuadamente Contemplado” en un porcentaje igual al 90 %. La validez de contenido de la encuesta pudo también corroborarse por el marco teórico de referencia construido en base a principios avalados por la comunidad científica actual. Para favorecer la confiabilidad de las mediciones, la respuesta al cuestionario fue anónima, tomada en un ambiente distendido y sin haberse fijado un tiempo máximo para responderla. 3.5. Unidades de análisis, variables, indicadores y valores. Definición operacional de las variables Los objetivos de esta investigación llevaron a escoger como unidad de análisis a la respuesta al ítem (pregunta) del cuestionario, siendo el nivel de anclaje de la matriz focal, el nivel unitario. En esta investigación se hizo un análisis centrado en las variables (Samaja, 2003, pp. 287-288). Las variables consideradas relevantes para el contexto de investigación fueron: 1.Enriquecer el aprendizaje, 2.Relevancia, 3. Apertura, 4. Promover inferencias válidas, 5. Coherencia, 6. Toma de decisiones y 7. Causas de fracasos. Las mismas se definieron conceptualmente atendiendo al marco teórico, a experiencias docentes de las autoras de este trabajo y a características propias del contexto de investigación es decir, a partir La definición conceptual de las variables es la siguiente: Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 104 Vol. 78 noviembre de 2011 NÚMEROS 1. Enriquecer el aprendizaje: prácticas evaluativas de una asignatura que mejoran el aprendizaje. Para esta variable se construyeron las siguientes dimensiones de estudio: 1.1 Evaluación continua: prácticas evaluativas del aprendizaje implementadas como procesos sistemáticos y continuos, integradas a la enseñanza y al aprendizaje. 1.2 Monitoreo de logros y errores: tareas evaluativas que informan continuamente al estudiante de los logros alcanzados y errores cometidos. 1.3 Función comunicativa: tareas evaluativas de una asignatura que favorecen la comunicación entre los participantes (alumno –docente y alumnos entre sí). 1.4 Función motivadora: tareas evaluativas que despiertan el interés del aprendizaje por la asignatura. 1.5 Aprendices independientes: tareas evaluativas que forman a los alumnos en la regulación de sus propios procesos de pensamiento y de aprendizaje. 2. Relevancia: tareas evaluativas llevadas a cabo mediante el empleo de instrumentos integradores que enfatizan contenidos destacados por el currículo, coherentes con el nivel de desarrollo del alumno, que lo motivan y, además, favorecen procesos reflexivos. 3. Apertura: prácticas evaluativas del aprendizaje que brindan continuamente al estudiante información sobre el proceso de enseñanza aprendizaje y le permiten conocer los criterios de evaluación e interpretar los resultados de la misma. 4. Inferencias válidas: prácticas evaluativas implementadas en tres momentos: diagnóstico, formativo y sumativo, que promueven inferencias ciertas acerca del aprendizaje del estudiante y que son llevadas a cabo mediante un programa de evaluación pertinente y validado por expertos. 5. Coherencia: prácticas evaluativas del aprendizaje que se corresponden con lo enseñado en la asignatura. 6. Toma de decisiones: prácticas evaluativas que permiten tomar decisiones valiosas para la enseñanza y el aprendizaje y que se caracterizan por: i) el empleo de múltiples fuentes de información, ii) respetar los tres momentos de la evaluación: diagnóstico, formativo y sumativo, iii) ser motivadoras y iv) emplear instrumentos válidos. 7. Causas de fracasos: factores que tienen mayor influencia en el bajo rendimiento académico de los alumnos de una asignatura. En el Anexo 1, la Tabla 1 muestra el espacio de atributos relevantes para este estudio y la definición operacional de las variables. Si a la respuesta al ítem, unidad de análisis de esta indagación, se le aplica este espacio de atributos obtendremos el sistema de matrices de datos correspondiente a los niveles de anclaje e infraunitario. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 105 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 4. Resultados En las tablas se presentan los resultados de cada ítem como el cociente de la frecuencia de respuesta al ítem dividido en el número de docentes encuestados (10). Pregunta 1 Pregunta 3 Pregunta 4 Ítem Frecuencia de respuesta /10 Ítem Frecuencia de respuesta /10 Ítem Frecuencia de respuesta /10 1 a ) 7/10 3 a ) 8/10 4 a ) 10/10 1 b ) 2/10 3 b ) 10/10 4 b ) 6/10 1 c ) 7/10 3 c ) 2/10 4 c ) 5/10 1 d ) 9/10 3 d ) 7/10 4 d ) 1/10 1 e) 0/10 3 e) 10/10 4 e) 2/10 1 f ) 0/10 3 f ) 2/10 4 f ) 6/10 1 g ) 10/10 3g ) 0/10 4 g ) 6/10 1 h ) 10/10 4 h ) 2/10 4 i ) 9/10 4 j ) 0/10 Pregunta 2: 9 docentes respondieron que evalúan mediante exámenes parciales y finales. Un docente no respondió. Pregunta 3 h): Cite otros factores que considere importantes: “carga horaria de la materia insuficiente”, “escasa ejercitación adicional”, “falta de hábitos de estudio”, “poco uso de recursos brindados por la cátedra: consultas”. Pregunta 5: no hubo ninguna respuesta. 5. Discusión de los resultados. Análisis descriptivo de los datos En los párrafos que siguen se presenta, para cada dimensión de las variables, el análisis descriptivo efectuado. Enriquecer el aprendizaje La información recabada de la dimensión evaluación continua, evidencia que en la práctica la evaluación es concebida como sinónimo de acreditación, ya que 9 de los docentes opinan que se evalúa el aprendizaje mediante exámenes parciales y un examen final. Por otra parte, tan sólo dos docentes manifestaron emplear encuestas para recabar opiniones sobre el proceso de enseñanza y aprendizaje (ítem 4h). Un número mayoritario considera que la evaluación es un instrumento para reflexionar sobre la enseñanza impartida (7/10; ítem 1c) y para ajustar el proceso de enseñanza y aprendizaje (9/10; ítem 1d), acciones que, de acuerdo al sistema evaluativo implementado, se ejecutarían a posteriori de la evaluación sumativa y no como formas de remediar deficiencias durante el proceso de enseñanza y aprendizaje. También, se evidenciarían carencias en la función formativa de la evaluación, dado que los docentes no implementarían acciones para facilitar el monitoreo de logros y errores (0/10; ítem 4j). Tan sólo 2 afirman que la evaluación mejora el aprendizaje (ítem 1b) y ninguno revisa en clases los resultados de los exámenes. Simultáneamente, la evaluación no cumpliría una función motivadora (0/10, ítem 1e). Tampoco favorecería la formación de aprendices independientes: sólo un docente opina que la evaluación propicia procesos reflexivos (ítem 4d) y tan sólo 2 informan a sus alumnos los criterios de evaluación (ítem 4e). Estos datos, sumado a lo ya mencionado, de que no se realizan clases especiales para revisar resultados de exámenes (0/10; ítem 4j) inducirían a Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 106 Vol. 78 noviembre de 2011 NÚMEROS pensar que la evaluación del aprendizaje es implementada sólo como instrumento de control y no como una necesidad emanada del mismo proceso de enseñanza y aprendizaje. Ocho de los docentes (ítem 1f) consideran que la evaluación no favorece la comunicación, postura que podría justificarse dada la baja relación docente-alumno. Para los docentes encuestados la escasa comunicación docente-alumno (2/10; ítem 3f) y alumno- alumno (0/10; ítem 3g) no son interpretados como factores de bajo rendimiento académico. En base a los criterios establecidos en el marco teórico, este análisis indicaría que la evaluación del aprendizaje implementada en Matemática 1 no enriquecería en gran medida el aprendizaje. Relevancia Conforme a principios vigentes de investigación educativa en enseñanza de la Matemática, los resultados revelarían que en la asignatura, hay deficiencias en la relevancia de los contenidos incluidos en la evaluación. Los docentes concuerdan con una problemática que presenta el alumno ingresante a la universidad: conocimientos previos deficientes (10/10; ítem 3b), señalada como una de las principales causas de fracasos de los estudiantes. Otros aspectos que contribuirían a pensar en la escasa relevancia de los contenidos evaluados serían: actividades que difícilmente favorecerían procesos reflexivos (un solo docente opina lo contrario, ítem 4d). No siempre se comparten objetivos con los estudiantes, ni se diseñan tareas evaluativas integradoras. Sólo 6 de los docentes atienden ambos aspectos (ítems 4b y 4f). El estudio relativo a la relevancia se amplió con el análisis de los documentos que contienen los exámenes del año 2007, estudio, que se efectuó en base a criterios específicos para evaluar los contenidos de la disciplina Matemática (evaluación de conceptos, procedimientos, resolución de problemas matemáticos, comunicación matemática y actitudes hacia la matemática) enunciados en un trabajo de Villalonga de García (2006, pp. 60-65) (Villalonga, González, Mercau, Holgado y Marcilla, 2009, pp. 1-10; Villalonga de García y González de Galindo, 2009, pp. 169-180). Apertura Sólo 2 de los docentes informan a sus alumnos los criterios de evaluación. Todos los encuestados opinan que la evaluación no favorece la comunicación y que nunca se implementan clases especiales para revisar resultados de exámenes. Estos datos indicarían deficiencias en la información que los estudiantes tienen del proceso evaluativo. La baja relación docente-alumno y el escaso tiempo disponible para desarrollar los contenidos del currículo, determina que se restrinjan los espacios para compartir criterios evaluativos y juicios que genera la evaluación. Coherencia Existiría coherencia entre lo enseñado y lo evaluado mediante pruebas de papel y lápiz, únicos instrumento empleado para tal fin (10/10; ítem 4a). Toma de decisiones En la asignatura se efectúa sólo evaluación sumativa mediante exámenes parciales y finales (9/10; ítem 2). En consecuencia, la toma de decisiones se efectuaría a posteriori de cada examen. Las dimensiones consideradas: ajustar el proceso de enseñanza y aprendizaje (9/10; ítem 1d), realizar cambios en la planificación (6/10; ítem 4g), reflexionar sobre la enseñanza impartida (7/10; ítem 1c), analizar logros y falencias del aprendizaje (10/10; ítem 1g) y la posibilidad de diagnosticar a partir de la evaluación (7/10; ítem 1a), exhiben acciones que se concretarían después de la evaluación sumativa. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 107 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 La excesiva carga horaria de las tres asignaturas que cursan simultáneamente los alumnos, sumada a los numerosos contenidos matemáticos a desarrollar en un cuatrimestre, determinan que las acciones correctivas de la enseñanza y el aprendizaje deducidas después de cada evaluación sumativa, se implementen recién en el período lectivo siguiente. Estos resultados y los que se observan del análisis de la pregunta 3, referida a factores de mayor influencia en los bajos rendimientos, permiten afirmar que no se implementan, durante el cursado de la asignatura, prácticas evaluativas que posibiliten tomar decisiones valiosas para la enseñanza y el aprendizaje. Inferencias válidas Para promover inferencias válidas acerca del aprendizaje de la matemática es necesario evaluar empleando múltiples fuentes de información. La preponderancia del empleo de instrumentos de evaluación sumativa y la baja relación docente alumno, tornan de dudosa validez las inferencias de aprendizajes significativos que puedan obtenerse de la evaluación implementada. Causas de fracasos Los cuatro factores de mayor influencia en los bajos rendimientos académicos de los estudiantes, ordenados en forma decreciente según porcentajes de respuestas, serían: a) Carencias de conocimientos previos (10/10; ítem 3b) y falta de estudio (10/10; ítem 3e), b) infraestructura inadecuada para grupos numerosos (8/10; ítem 3a) y c) factores personales del alumno (7/10; ítem 3d). Otros causas de fracasos citadas en la opción abierta de la pregunta 3h fueron: “carga horaria de la materia insuficiente”, “escasa ejercitación adicional”, “falta de hábitos de estudio”, “poco uso de recursos brindados por la cátedra: consultas”. Sorprende que los docentes, a pesar de trabajar con aulas multitudinarias, no señalen a la escasa comunicación como causa importante del fracaso en las evaluaciones. 6. Conclusiones Corroboración de la hipótesis de investigación Los resultados obtenidos de este trabajo evidenciarían que la evaluación del aprendizaje sería equivalente a examen, medición o acreditación. Es decir, al estar desintegrada de los procesos de enseñanza y aprendizaje, no sería implementada como un componente estructural y dinámico que posibilita el monitoreo de los avances de cada estudiante hacia las metas de aprendizaje, proporcionándole una retroalimentación relevante y útil que le permita apreciar el incremento de su potencia matemática. Por lo tanto, es posible corroborar la hipótesis de investigación enunciada. O sea, no existiría coherencia entre todos los criterios de evaluación enunciados en el marco teórico y las prácticas evaluativas implementadas en la asignatura. Líneas de investigación que quedan abiertas Han quedado abiertas cuestiones a abordar en el futuro. Los resultados obtenidos a través del tratamiento de los datos aportados por la encuesta a docentes, se completarán posteriormente triangulando información obtenida de otras fuentes: opiniones de los alumnos y de las evaluaciones sumativas (Forni, Gallart y Vasilachis de Gialdino, 1992, pp. 85-86). Las falencias detectadas en este análisis llevan a formular la siguiente pregunta: ¿Podría revertirse esta situación si se implementara un programa de evaluación, ajustado al contexto de Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 108 Vol. 78 noviembre de 2011 NÚMEROS referencia? ¿Contribuiría el mismo a elevar la calidad de la evaluación del aprendizaje de la asignatura? El diseño y puesta en práctica de tal programa será precisamente el objetivo último que se propondrán las autoras del presente trabajo. 7. Bibliografía Camillioni, A. (1998). La calidad de los programas de evaluación y de los instrumentos que los integran. En Camilloni, A.; Celman, S.; Litwin, E. y Palou de Maté, M. (eds.) La evaluación de los aprendizajes en el debate didáctico contemporáneo, 67-92. Paidós: Buenos Aires. Fernández de Alaíza García, B. (2001). La psicología cognitiva contemporánea y sus aplicaciones en la enseñanza de la matemática para no matemáticos. En Hernández Fernández, H., Delgado Rubí, J. y Fernández de Alaíza, B. (eds.) Cuestiones de didáctica de la matemática. Conceptos y procedimientos en la educación polimodal y superior (Segunda edición), 27-31. Homo Sapiens Ediciones: Argentina. Forni F., Gallart M. y Vasilachis de Gialdino I. (1992). Métodos cualitativos II. La práctica de la investigación. Buenos Aires: Centro editorial de América Latina. Galtung, J. (1978). Teoría y métodos de la investigación social. Tomo 1. Quinta edición. Buenos Aires: Eudeba. González de Galindo, S., Villalonga de García, P. y Marcilla, M. (2009). Enseñemos matemática favoreciendo la comunicación y la actividad del alumno. Revista Premisa, 11 (40), 3-13. Hernández Fernández, H., Delgado Rubí, J., Fernández de Alaíza, B., Valverde Ramírez, L. y Rodríguez Hung, T. (2001). Cuestiones de didáctica de la matemática. Conceptos y procedimientos en la Educación Polimodal y Superior. Argentina: Homo Sapiens Ediciones. Jorba, J. y Casellas, E. (1997). Estrategias y técnicas para la gestión social del aula. Volumen 1. La regulación y autorregulación de los aprendizajes. España: Síntesis. Kornblit A. L. (Coordinadora) (2004). Metodologías cualitativas en ciencias sociales. Modelos y procedimientos de análisis. Buenos Aires: Editorial Biblos. Ladrière, J. (1978). Citado por Samaja (2003). Epistemología y metodología. Elementos para una teoría de la investigación científica. 3º edición. 3º reimpresión. Eudeba: Buenos Aires. Moreira, M. A. y Caballero C. (2008). La Teoría del Aprendizaje Significativo. 1ra. Edición. Porto Alegre- Brasil, Burgos- España: UFRGS, Brasil y UBU, España. N.C.T.M. (2000). Principles and Standards for School Mathematic [en línea]. Recuperado el 11 de abril de 2003, de http://standards.nctm.org/document/chapter2/ index.htm. N.C.T.M. (1995). Assessment Standards for School Mathematics [en línea]. Recuperado el 11 de abril de 2003, de http://standards.nctm.org/ Previous/AssStds/index.htm. Pacheco, N. (2005). Comprensión y aprendizaje en Matemática. Argentina: Editorial EFE. Pérez González, O. (2000). La evaluación del aprendizaje como elemento del sistema de dirección del proceso docente. Tesis de doctorado inédita Universidad de Camagüey: Cuba. Pierce, C. (1988). Citado por Samaja J. (2004). Semiótica de la ciencia. Los métodos; las inferencias y los datos a la luz de la semiótica como lógica ampliada. Primera parte. Material del Curso de postgrado: La ciencia como proceso de investigación y dimensión de la cultura. Secretaría de Postgrado de la Universidad Nacional se Tucumán: Argentina. Samaja J. (2003). Epistemología y metodología. Elementos para una teoría de la investigación científica. 3º edición. 3º reimpresión. Buenos Aires: Eudeba. Samaja J. (2004). La ciencia como proceso de investigación y dimensión de la cultura. Material del Curso de postgrado: La ciencia como proceso de investigación y dimensión de la cultura. Secretaría de Postgrado de la Universidad Nacional de Tucumán: Argentina. Vieytes, R. (2004). Metodología de la investigación en organizaciones, mercado y sociedad. Epistemología y técnicas. Buenos Aires: Editorial de las Ciencias. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 109 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 Villalonga de García, P (2006). Evaluar contenidos en matemática. Algunos criterios orientadores. Novedades Educativas, 182, 60-65. Villalonga de García, P.; González de Galindo, S., Mercau de Sancho, S. y Marcilla M. (2009). Perspectivas de los estudiantes acerca de la evaluación del aprendizaje de un curso masivo. En DASS-UCSE (ed.) Libro de Actas Segundo Simposio Internacional de Investigación. “La investigación en la Universidad: Experiencias Articuladas a la Docencia y a la Extensión”, 658- 668. Ediciones DASS-UCSE: Argentina. Villalonga, P., González, S., Mercau, S, Holgado, L. y Marcilla, M. (2009). Dimensiones relevantes para analizar exámenes de matemática. En FRT-UTN (eds.) Memorias del XV EMCI Nacional - VII EMCI Internacional. Vol. CD. FRT-UTN: Argentina. Villalonga, P., González, S., Holgado L., Marcilla, M. y Mercau, S. (2009). Pautas para diseñar actividades evaluativas basadas en teorías de aprendizaje significativo: desde Ausubel hasta Moreira. En Sagula J. (ed.) Memorias del 10º Simposio de Educación Matemática, 1812-1829. EMAT: Argentina. Villalonga de García, P. y González de Galindo, S. (2009). Aprendizaje significativo. Análisis de exámenes escritos de matemática. En DASS-UCSE (ed.) Actas del Tercer Simposio Internacional de Investigación: la investigación y su transferencia a la comunidad, 169-180. Ediciones DASS-UCSE: Argentina. Villalonga de García, Patricia, nacida en 1952 en Tucumán, Argentina. Lic. en Matemática y Mg en Enseñanza de la Matemática Superior. Prof. Asociada de Matemática 1 y Matemática 2 de la Fac. de Bioquímica, Química y Farmacia de la U.N.T., Argentina. Dictó cursos de posgrado. Investigadora del Consejo de Investigación de la U.N.T. Tiene publicados numerosos trabajos en el área Matemática y Educativa en Revistas Nacionales e Internacionales. Email: pvillalonga@fbqf.unt.edu.ar González de Galindo, Susana, nacida en 1948 en Tucumán, Argentina. Lic. en Matemática, Prof. en la Enseñanza Media, Normal y Especial (Especialidad Matemática) y Mg. en la Enseñanza de la Matemática Superior. Prof. Asociada de Matemática 1 y Matemática 2 de la Fac. de Bioquímica, Química y Farmacia, Tucumán. Argentina. Investigadora del Consejo de Investigación de la U.N.T. Dictó cursos de postgrado y publicó numerosos trabajos en el área Matemática y Educativa en Revistas Nacionales e Internacionales. Email: sgalindo@fbqf.unt.edu.ar Mercau de Sancho, Susana Beatriz, nacida en 1967 en Tucumán, Argentina. Lic. en Matemática y Esp. en Investigación Educativa (UNT). J.T.P. de Matemática 1 de la Fac. de Bioquímica, Química y Farmacia. Tucumán. Prof. Adjunta de Análisis Matemático I de la Fac. de Ingeniería de la Universidad del Norte Santo Tomás de Aquino. Investigadora del Consejo de Investigación de la U.N.T .Tiene publicados trabajos en el área Matemática y Educativa. Email: s_mercau@yahoo.com.ar Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 110 Vol. 78 noviembre de 2011 NÚMEROS Anexo 1 Tabla 1: Espacio de atributos con la definición operacional de las variables Variable Dimensión Subdimensión Valor y procedimiento Enriquecer el aprendizaje Evaluación continua Diagnosticar 1: es verdadera 1a. 0: es falsa 1a. Mejorar el aprendizaje 1: es verdadera 1b. 0: es falsa 1b. Reflexionar sobre la enseñanza impartida 1: es verdadera 1c. 0: es falsa 1c. Ajustar el proceso de E-A 1: es verdadera 1d. 0: es falsa 1d. Examen final 1: la U.A pertenece a la clase examen final (p 2). 0: la U.A no pertenece a la clase examen final (p 2). Examen parcial 1: la U.A. pertenece a la clase examen parcial (p 2). 0: la U.A no pertenece a la clase examen parcial (p 2). Encuestas 1: la U.A. pertenece a la clase encuestas (p. 2). 0: la U.A. no pertenece a la clase encuestas (p 2). Acreditación 1: es verdadera 1h. 0: es falsa 1h. Monitoreo de logros y errores Mejorar el aprendizaje 1: es verdadera 1b. 0: es falsa 1b. Revisar en clases resultados de exámenes 1: es verdadera 4j. 0: es falsa 4j. Comunicación Favorecer la comunicación 1: es verdadera 1f. 0: es falsa 1f. Comunicación docente - alumno 1: señala 3f. 0: no señala 3f. Comunicación alumno – alumno 1: señala 3g. 0: no señala 3g. Revisar en clases resultados de exámenes 1: es verdadera 4j. 0: es falsa 4j. Función motivadora Motivar al alumno 1: es verdadera 1e. 0: es falsa 1e. Aplicaciones a las ciencias 1: es verdadera 4c. 0: es falsa 4c. Aprendices independientes Favorecer procesos reflexivos 1: es verdadera 4d. 0: es falsa 4d. Informar los criterios de evaluación 1: es verdadera 4e. 0: es falsa 4e. Apertura Se informan criterios de evaluación 1: es verdadera 4 e. 0: es falsa 4 e. Favorecer la comunicación 1: es verdadera 1f. 0: es falsa 1f. Revisar en clases resultados de exámenes 1: es verdadera 4j. 0: es falsa 4j. Evaluación acorde a los objetivos 1: es verdadera 4 b. 0: es falsa 4 b. Relevancia Conocimientos previos 1: se señaló como factor de bajos rendimientos 3b. 0: no se señaló como factor de bajos rendimientos 3b. Aplicaciones a las ciencias 1: es verdadera 4 c. 0: es falsa 4 c. Favorecer procesos reflexivos 1: es verdadera 4 d. 0: es falsa 4 d. Instrumento integrador 1: es verdadera 4 f. 0: es falsa 4 f. Evaluación acorde a los objetivos 1: es verdadera 4 b. 0: es falsa 4 b. Coherencia 1: es verdadera 4a. 0: es falsa 4a. Nota: 1a,1b,1c,1d,1e,1f, 1h, p2, 3b,3g,3f, 4a, 4b,4c, 4d, 4e, 4f, 4j son los correspondientes números de ítems del cuestionario. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 111 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 Tabla 1 (Continuación): Espacio de atributos con la definición operacional de las variables Variable Dimensión Subdimensión Valor y Procedimiento Causas de fracasos Comunicación alumno – alumno 1: señala 3g. 0: no señala 3g. Comunicación docente – alumnos 1: señala 3f. 0: no señala 3f. Metodología implementada 1: señala 3c. 0: no señala 3c. Factores personales 1: señala 3d. 0: no señala 3d. Infraestructura inadecuada 1: señala 3a. 0: no señala 3a. Conocimientos previos deficientes 1: señala 3b. 0: no señala 3b. Falta de estudio 1: señala 3e. 0: no señala 3e. Inferencias válidas Cambios o ajustes en la planificación . 1: es verdadera 4g. 0: es falsa 4g Reflexionar sobre la enseñanza impartida 1: es verdadera 1c. 0: es falsa 1c. Validez de contenido 1: es verdadera 4i. 0: es falsa 4i. Diagnóstico 1: es verdadera 1a. 0: es falsa 1a. Encuestas 1: la U.A. pertenece a la clase encuestas (p 2). 0: la U.A. no pertenece a la clase encuestas (p 2). Examen parcial 1: la U.A pertenece a la clase examen parcial (p 2). 0: la U.A. no pertenece a la clase examen parcial (p 2). Examen final 1: la U.A pertenece a la clase examen final (p 2). 0: la U.A. no pertenece a la clase examen final (p 2). Toma de decisiones Ajustar el proceso de E-A 1: es verdadera 1d. 0: es falsa 1d. Reflexionar sobre la enseñanza impartida 1: es verdadera 1c. 0: es falsa 1c. Cambios o ajustes en la planificación 1: es verdadera 4g. 0: es falsa 4g. Motivar al alumno 1: es verdadera 1e. 0: es falsa 1e. Revisar en clases resultados de exámenes 1: es verdadera 4j. 0: es falsa 4j. Analizar logros y falencias 1: es verdadera 1g. 0: es falsa 1g. Diagnóstico 1: es verdadera 1a. 0: es falsa 1a. Encuestas 1: la U.A. pertenece a la clase encuestas (p 2). 0: la U.A. no pertenece a la clase encuestas (p 2). Examen parcial 1: la U.A pertenece a la clase examen parcial (p 2). 0: la U.A. no pertenece a la clase examen parcial (p 2). Examen final 1: la U.A pertenece a la clase examen final (p 2). 0: la U.A. no pertenece a la clase examen final (p 2). Nota: 1a, 1c, 1d, 1e, 1g, p2,3a 3b,3c,3d,3e,3f, 3g, 4g, 4i, 4j son los correspondientes números de ítems del cuestionario. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 112 Vol. 78 noviembre de 2011 NÚMEROS Anexo 2 ENCUESTA A DOCENTES DE MATEMÁTICA 1. AÑO 2008 El objetivo de este cuestionario es conocer las características que para usted tiene la evaluación en MATEMÁTICA 1. Se agradece su respuesta anónima, la cual será un aporte valioso para analizar este aspecto fundamental del proceso de enseñanza y aprendizaje vigente en esta asignatura. 1) Señale con una cruz la proposición que considere verdadera. Puede marcar una o más: En Matemática 1 los instrumentos de evaluación que se implementan permiten: a) diagnosticar el nivel de conocimientos del grupo de alumnos, b) enriquecer el aprendizaje de los alumnos, c) reflexionar sobre la enseñanza impartida, d) ajustar el proceso de enseñanza y aprendizaje, e) motivar al alumno, f) favorecer la comunicación entre los participantes, g) conocer logros y falencias en el aprendizaje, h) acreditar. 2) ¿Qué instrumentos emplea para evaluar a los alumnos y al proceso de enseñanza y aprendizaje? 3) Señale los cuatro factores que de acuerdo a su criterio, tienen mayor influencia en los bajos rendimientos académicos de sus alumnos. a) Infraestructura inadecuada para grupos numerosos. b)Deficiencias en los conocimientos previos. c) La metodología de enseñanza implementada. d)Factores personales del alumno. e) Falta de estudio. f) Escasa comunicación entre docente y alumnos. g)Escasa comunicación entre alumnos entre sí. h)Cite otros factores que considere importantes: 4) Califique las siguientes proposiciones, referidas a Matemática I, de verdaderas o falsas: a) Se evalúa lo que se enseña. b)Se evalúa de acuerdo a los objetivos propuestos. c) En las evaluaciones se incluyen actividades de aplicación a las ciencias. d)Las actividades de evaluación favorecen procesos reflexivos sobre los contenidos matemáticos desarrollados en clase. e) Se informa a los alumnos sobre los criterios de evaluación. f) Para otorgar la condición de alumno regular, se evalúa con un instrumento integrador de todos los temas estudiados. g)A partir de la información que se recoge de la evaluación se realizan cambios o ajustes en la planificación establecida. h)Durante el cursado de la asignatura, el docente implementa encuestas a sus alumnos a fin de autoevaluarse y modificar posteriormente su accionar en las clases restantes. i) Cada instrumento de evaluación goza de validez de contenido (contiene un alto porcentaje del total de contenidos desarrollados durante el curso) j) Se implementan clases especiales para analizar logros y errores cometidos por los alumnos en las pruebas escritas. 5) Sugiera los aspectos acerca de la evaluación que, de acuerdo a su opinión, no fueron incluidos en esta encuesta.
Click tabs to swap between content that is broken into logical sections.
Calificación | |
Título y subtítulo | Coherencia entre criterios de evaluación y prácticas evaluativas de matemática |
Autoría principal | Villalonga de García, P. ; González de Galindo, S. ; Mercau de Sancho, S. B. |
Entidad | Sociedad canaria de Profesores de Matemáticas: Isaac Newton |
Publicación fuente | Números: revista de Didáctica de las Matemáticas |
Numeración | Número 78 |
Sección | Artículos |
Tipo de documento | Artículo |
Lugar de publicación | La Laguna (Tenerife) |
Editorial | Sociedad Canaria de Profesores de Matemáticas: Isaac Newton |
Fecha | 2011 |
Páginas | pp. 083-100 |
Materias | Publicaciones periódicas ; Ciencias de la Educación ; Ciencias exactas ; Canarias |
Enlaces relacionados | http://www.sinewton.org/numeros/ |
Copyright | ULPGC:http://biblioteca.ulpgc.es/avisomdc |
Formato digital | |
Tamaño de archivo | 228 KB |
Texto | Sociedad Canaria Isaac Newton de Profesores de Matemáticas http://www.sinewton.org/numeros Volumen 78, noviembre de 2011, páginas 95–112 ISSN: 1887-1984 Coherencia entre criterios de evaluación y prácticas evaluativas de matemática Patricia Villalonga de García, Susana González de Galindo y Susana Beatriz Mercau de Sancho (Universidad Nacional de Tucumán. Argentina) Fecha de recepción: 1 de noviembre de 2010 Fecha de aceptación: 26 de mayo de 2011 Resumen Para diagnosticar el sistema de evaluación del aprendizaje de un curso universitario masivo de Matemática de una Facultad de ciencias, en un artículo anterior, se establecieron criterios orientadores basados en teorías cognitivas de aprendizaje. En base a tales criterios, se implementaron encuestas a alumnos y docentes y se analizó el diseño de los exámenes escritos. Se presenta aquí el diseño y validación del cuestionario aplicado a los docentes y se analizan sus resultados. Siguiendo principios de Samaja se construyó el objeto modelo de esta investigación, y se ideó un procedimiento de análisis, de tipo formal, basado en sistemas de matrices de datos, útil para estudiar los datos de cualquier investigación empírica. Se dedujo que existe escasa coherencia entre los criterios de evaluación y la práctica evaluativa implementada. Palabras clave Evaluación del aprendizaje; criterios; enfoque cognitivo; estándares N.C.T.M.; encuesta a docentes; objeto modelo; investigación empírica; Samaja. Abstract In a previous article and in order to diagnose the learning assessment system of a massive university course of Mathematics of a Faculty of Science, guiding criteria were established which were based on cognitive theories of learning. On the basis of those criteria surveys for students and teachers were implemented and the design of written examinations was discussed. We present here the design and validation of the questionnaire given to teachers and their results are analyzed. The model object for this investigation was built by following Samaja’s principles, and an analysis procedure of a formal type -based on systems of data matrixes- was developed which is useful for studying the details of any empirical research. It was deduced that there is little consistency between the evaluation criteria and the evaluation practice implemented. Keywords Learning Assessment, criteria, cognitive approach, NCTM standards, survey for teachers, object model, empirical research, Samaja. 1. Introducción Matemática I es una asignatura del primer cuatrimestre de primer año de la Facultad de Bioquímica, Química y Farmacia de la Universidad Nacional de Tucumán, Argentina. Su currículo, de tipo técnico, abarca los contenidos sostenes del Cálculo Diferencial y de Integral indefinida de funciones de una variable, necesarios para el aprendizaje de otras asignaturas de las especialidades cursadas en la Facultad. En el año 2007 el número inicial de alumnos fue de 420 estudiantes con una relación docente alumno de 1/70 en clases prácticas y 1/420 en clases teóricas. El docente desempeñó un rol protagónico y resultaron escasas las situaciones de comunicación entre los distintos participantes del proceso educativo. Las evaluaciones llevadas a cabo mediante dos pruebas parciales Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 96 Vol. 78 noviembre de 2011 NÚMEROS y un examen final integrador, fueron realizadas mediante pruebas de papel y lápiz, en fechas prefijadas con antelación. Se consideró que todos estos problemas tendrían influencia en la calidad de la enseñanza y evaluación del aprendizaje. Intentando mejorar la enseñanza y superar la limitación de realizar en cursos masivos sólo evaluación sumativa se diseñó el proyecto: “Estrategia didáctica que valoriza la regulación continua del aprendizaje en aulas multitudinarias de Matemática”. El mismo fue aprobado por el Consejo de Investigaciones de la Universidad Nacional de Tucumán (CIUNT) Argentina. Este proyecto, siguiendo lineamientos de teorías cognitivas y considerando las limitaciones del contexto, propone integrar la regulación en las situaciones de aprendizaje, diseñando actividades que no requieren intervención continua del profesor y favorecen la interacción social. Para construir el marco conceptual del proyecto se estudiaron principios de enfoques cognitivos sustentados por la Teoría Psicogenética de Piaget, el Enfoque Histórico Cultural de Vigotsky y seguidores y la Teoría del aprendizaje significativo de Ausubel. Además, se analizaron lineamientos para la regulación y autorregulación del aprendizaje sostenidos por Jorba y Casellas y principios de los Estándares de evaluación del aprendizaje de la Matemática del National Council of Teachers of Mathematics (N.C.T.M) (Jorba y Casellas, 1997; Camillioni et al., 1998; Pérez González, 2000; Hernández Fernández, Delgado Rubí, y Fernández de Alaíza, 2001; Pacheco, 2005; Moreira y Caballero, 2008; N.C.T.M, 1995, 2000). Del marco teórico se derivaron una serie de criterios orientadores de la evaluación del aprendizaje de la Matemática, que se constituyeron en referentes durante el desarrollo del proyecto (Villalonga de García, 2006, pp. 60-65; Villalonga, González, Holgado, Marcilla y Mercau, 2009; pp.1812-1829). En base a estos criterios, se estableció el siguiente objetivo general: diseñar e implementar en aulas multitudinarias de Matemática, una estrategia didáctica que recurre al empleo de un material curricular elaborado ad hoc. Esta estrategia pretende favorecer aprendizajes significativos, valorizar la regulación continua del aprendizaje y contribuir a mejorar la calidad de la evaluación del aprendizaje, limitada en la asignatura sólo a evaluaciones sumativas. La descripción de la estrategia fue plasmada en un trabajo previo (González de Galindo, Villalonga de García y Marcilla, 2009, pp. 3-13). Para analizar las metodologías de evaluación vigentes en esta asignatura se consideraron los resultados de una encuesta a alumnos del año 2007, se analizó el diseño de los exámenes escritos de ese año (únicos instrumentos de evaluación del aprendizaje implementados de manera sistemática) y se encuestó a docentes de la asignatura en el año 2008 (Villalonga de García, González de Galindo, Mercau de Sancho y Marcilla, 2009, pp. 658-668; Villalonga de García y González de Galindo, 2009, pp. 169-180; Villalonga, González, Mercau, Holgado y Marcilla, 2009, pp. 1-10). Este artículo presenta: a) la construcción y validación del cuestionario aplicado a los docentes (ver Anexo 2), b) el diseño del espacio de atributos propio de este estudio, empleado como instrumento para analizar la información obtenida de la encuesta y c) los resultados obtenidos de la misma. Siguiendo principios de Samaja se construyó el objeto modelo de esta investigación, basado en sistemas de matrices de datos, el cual se utilizó como procedimiento de análisis, para estudiar los datos del cuestionario. Lo más notable de los principios de Samaja es que dentro de la teoría clásica de la metodología de investigación, basada en variables, presenta, desde la perspectiva de la dialéctica, a los sistemas de matrices de datos como soporte básico del diseño investigativo, los cuales permiten formalizar el objeto modelo de cualquier tipo de investigación empírica. De esta manera se consigue, simultáneamente, la integración y complementariedad de las denominadas, por otros autores, técnicas cualitativas y cuantitativas. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 97 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 El análisis de los datos de la encuesta permitió, con un costo de tiempo mínimo, deducir que existiría escasa coherencia entre los criterios generales que orientan la evaluación del aprendizaje y las prácticas evaluativas en uso. 2. Marco teórico 2.1. Criterios generales orientadores de la evaluación del aprendizaje de la Matemática El marco teórico se construyó integrando principios de la teoría Psicogenética de Piaget, del Aprendizaje Significativo de Ausubel, del Enfoque Histórico Cultural de Vigotsky y de los estándares de evaluación del National Council of Teachers of Mathematics. En un trabajo anterior, basándose en la concepción de aprendizaje promovida por estas teorías cognitivas, se construyó una serie de criterios generales orientadores para evaluar el aprendizaje de la Matemática (N.C.T.M., 1995; N.C.T.M., 2000; Jorba y Casellas, 1997; Fernández de Alaíza García, 2001, pp.27-31; Villalonga de García, 2006, pp.60-65; Moreira, 2008; Villalonga, González, Holgado, Marcilla y Mercau, 2009, pp.1812-1829). Estos criterios establecen que la evaluación del aprendizaje debiera: -Con relación al aprendizaje del estudiante: 1) Enriquecer el aprendizaje de la matemática. Este objetivo se alcanzará en la medida que la evaluación del aprendizaje sea continua e integral, y se caracterice por: a) Retroalimentar el proceso de enseñanza aprendizaje, informando al estudiante de los progresos logrados en el aprendizaje, b) Optimizar la comunicación entre los participantes, c) Desempeñar una función motivadora y educativa, y d) Formar a los alumnos como aprendices independientes mediante el empleo de técnicas autoevaluativas. -Respecto al conocimiento matemático de los alumnos: 2) Enfatizar objetivos y contenidos relevantes. Es decir, aquellos destacados por el currículo y por los estándares de evaluación del N.C.T.M, que sean motivantes y coherentes con el nivel de desarrollo del estudiante. Además, se sobreentiende de que la evaluación debe indagar sobre contenidos integrados: conceptos, procedimientos y actitudes, y, ser un instrumento para desarrollar el pensamiento del alumno, el espíritu crítico y la creatividad. -Acerca de la manera de implementarla: 3) Promover la igualdad de oportunidades (equidad). Esto implica, brindar un trato diferenciado a cada estudiante según sus características, potencialidades y limitaciones, ofreciéndole oportunidades para evaluar e incrementar su potencia matemática1 (N.C.T.M., 1995). 1 “La potencia matemática incluye la habilidad para explorar, efectuar conjeturas, y razonar lógicamente; para resolver problemas no rutinarios; para comunicar ideas matemáticas, y comunicarse usando la matemática como herramienta; y conectar ideas dentro de la matemática y, entre matemática y otra actividad intelectual. La potencia matemática también involucra el desarrollo personal de la auto-confianza y la disposición de buscar, evaluar y emplear información cuantitativa en la resolución de problemas y en la toma de decisiones. La flexibilidad del estudiante, perseverancia, intereses, curiosidad e inventiva también contribuyen a alcanzar la potencia matemática” (N.C.T.M., 1995). Corresponde a una traducción efectuada por las autoras, extraída del glosario de la versión electrónica de los estándares del N.C.T.M. del año 1995. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 98 Vol. 78 noviembre de 2011 NÚMEROS 4) Ser un proceso abierto. Es decir, todos los implicados deben tener información sobre él, conocer los criterios de evaluación e interpretar los resultados de la misma. 5) Promover inferencias válidas acerca de aprendizajes significativos de la matemática. Este tipo de inferencias se logra: i) Con un programa pertinente de evaluación que emplee múltiples fuentes de información: observación, entrevistas, situaciones problemáticas abiertas y cerradas, diarios del profesor, pruebas de papel y lápiz, proyectos, portafolios etc. ii) Planificando los instrumentos de evaluación respetando tres momentos: diagnóstico, formativo y sumativo. iii) Empleando instrumentos válidos y confiables, y iv) Evaluando, también, objetivos no previstos. 6) Ser un proceso coherente con lo enseñado. 7) Ser una herramienta valiosa para la toma de decisiones para la enseñanza y el aprendizaje. Las decisiones serán efectivas si: a) provienen de un programa de evaluación cuyas actividades son coherentes con la experiencia, conocimientos previos y necesidades de los estudiantes, b) brindan al docente información relevante acerca de aprendizajes significativos del estudiante que le permitan retroalimentar el proceso de enseñanza y c) otorgan al estudiante oportunidades para realizar gestión de errores y refuerzo de sus éxitos. 8) Mejorar aspectos generales de la personalidad del estudiante (tolerancia, colaboración, solidaridad, comprensión, corrección para obrar, respeto ante el trabajo ajeno, etc.). Villalonga de García (2006, pp. 60-65), enuncia además, una serie de criterios específicos para evaluar los contenidos de la disciplina matemática. Estos criterios se refieren a evaluación de conceptos, procedimientos, resolución de problemas matemáticos, comunicación matemática y actitudes hacia la matemática. 2.2. Marco teórico de la metodología de investigación Se presenta en este apartado una apretada síntesis de los principios de Samaja (2003) sobre los que se funda el diseño del objeto modelo de cualquier investigación empírica. Se sugiere al lector recurrir a la bibliografía para ahondar detalles de esta teoría. El objeto modelo de investigación fue construido a partir de la concepción ternaria de ciencia refrendada por Pierce y por Samaja (Pierce, 1988). Dicha concepción considera que la idea de ciencia resultante de la operación hipotético-deductiva es restringida, por ello incorpora a la misma el conocimiento proveniente del mundo de la vida (la praxis o pragma) obtenido por la experiencia de protagonismo del sujeto al interactuar con el medio. En esta idea de ciencia, basada en el enfoque de la Teoría Fundada de Glaser y Strauss (Kornblit, 2004, pp.47-76), el investigador construye sus propias teorías sobre la realidad que indaga, obteniendo las categorías e indicadores del estudio durante el proceso. En consecuencia, el sujeto se relaciona subjetivamente con el objeto de conocimiento. Además, Samaja al superar la clásica dicotomía inducción-deducción, incluye en la ciencia otras formas de inferencias que considera válidas: la abducción y la analogía (Samaja, 2003, pp.104-108). La tarea en toda investigación empírica es interpretar en términos teóricos los hechos de la experiencia. Dado que todo objeto real de estudio es complejo, es necesario que el indagador, en base a modelos preexistentes al acto investigativo: consecuencias de la historia personal, intuiciones, experiencia y circunstancias, o sea, en base a la preconcepción modelizante (Ladrière, 1978), efectúe una reducción de su complejidad, explicitando qué aspectos relevantes de sus componentes tendrá en cuenta y qué procedimientos concretos usará para llevar a cabo su descripción (Samaja, 2004). Es decir, debe construir un objeto modelo mediante el cual describirá al objeto de estudio basándose en un sistema propio de categorías. En esta etapa de la tarea científica, la acción y la modelización interactúan de manera que una determina sucesivamente a la otra. El concepto de operación o Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 99 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 procedimiento de relación entre conceptos es fundamental como lenguaje traductor apropiado de ser aplicado tanto en las hipótesis como en los datos experimentales. El autor caracteriza a las operaciones como: “a. acciones de transformación, b. de naturaleza formal, c. que pueden ser tematizadas (y ser incorporadas en operaciones de nivel más elevado), c. son generalizables; y d. no se dan aisladamente sino que están inscriptas en redes operatorias” (Samaja, 2003, p.158). Para emplear este lenguaje será necesario un intermediario del objeto de estudio: el objeto modelo. Samaja (2003) considera cuatro operaciones básicas propias de la tarea científica: 1) El procedimiento de selección de las unidades de análisis (Entificación). 2) El procedimiento de identificación de variables y de sus valores (Categorización). 3) Los procedimientos que se ponen en juego con las dimensiones de las variables para llegar a los indicadores (Operacionalización). 4) El procesamiento de las observaciones, condicionado por las operaciones anteriores. El mismo, podrá realizarse centrado en las variables, en las unidades de análisis o en los valores (Procesamiento). Las cuatro operaciones, mediadoras entre el plano de los hechos y el plano de las ideas, constituyen los procedimientos necesarios para la determinación del objeto modelo o sistema de matrices de datos. Desde esta perspectiva todo “dato” (Samaja, 2003, p.160) de cualquier investigación empírica, posee una estructura compleja invariante de cuatro componentes: unidad de análisis (UA), variables (V), valores (R) e indicadores (I). Esta estructura se denomina matriz de datos y en ella el indicador es el procedimiento aplicado a cada dimensión relevante de la variable para efectuar su medición o valoración. Tales procedimientos incluyen desde el empleo de un indicio perceptivo simple, hasta la construcción de escalas o números índices que combinan muchos ítems o dimensiones de una variable compleja. A esta noción conviene agregar una representación espacial, como se muestra en la Figura 1 (Samaja, 2004, p. 49), que ayude a advertir el carácter jerárquico de algunas relaciones que se dan entre los cuatro elementos de la estructura del dato. En este diagrama debajo del símbolo del valor (R), figura el símbolo del indicador (I), que está en relación de igualdad con la dimensión y el procedimiento, cuyos símbolos (d) y (p) están inmediatamente por debajo de la variable (V). Esta ubicación en el diagrama busca sugerir la relación de subordinación de la dimensión a la variable. Figura 1: Estructura del dato científico. Carácter jerárquico de sus componentes (Samaja, 2004, p. 49). El conjunto de variables relevantes que se eligen para describir el objeto real de la investigación se denomina espacio de atributos. El objeto modelo de la investigación queda delimitado, entonces, por los distintos tipos de unidades de análisis escogidas para la investigación mediante la aplicación de un espacio de atributos propio de cada unidad de análisis. De esta manera, dentro de la teoría clásica de la metodología de la investigación basada en variables, Samaja (2003) replantea la teoría de Galtung (1978, pp. 1-21). Según este autor, en ciencias sociales cualquier dato posee una estructura que puede representarse a través de una matriz de tan sólo tres componentes: unidades de análisis, variables y valores. Samaja (2003), ampliando esta perspectiva en la dirección de una metodología dialéctica, propone en su tesis tres postulados: UA (unidad de análisis) V (variable) R (valor de la variable) d (dimensión) p (procedimiento) I indicador Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 100 Vol. 78 noviembre de 2011 NÚMEROS 1. En cualquier ciencia empírica todos los datos de una investigación científica pueden subsumirse a una matriz de datos, con lo cual dicha matriz asume el carácter de invariante estructural del dato científico. 2. Todas las investigaciones poseen datos de distinto nivel, por lo cual no existe una única matriz sino un sistema de matrices de datos que dan cuenta de diferentes niveles de integración. 3. La estructura del dato no es tripartita sino cuatripartita, pues agrega al dato un cuarto elemento, los indicadores oportunamente definidos como “procedimientos aplicados a cada dimensión de la variable para efectuar su medición o valoración”. Lazarfeld y Galtung sólo seleccionan la o las dimensiones relevantes de las variables para interpretar el sentido global de las mismas, pero no le otorgan un status epistemológico a los procedimientos u operaciones que se deberán llevar a cabo para observar la configuración de cada dimensión (Galtung, 1978, pp. 1-21). Para ambos autores la dimensión es observable por sí misma. En cambio, Samaja, sosteniendo el principio kantiano de que no hay intuición de conceptos, afirma que como la dimensión es un concepto no puede ser observable por sí misma. Considera necesario la existencia de un enlace entre los sentidos y el concepto de dimensión. Ese intermediario es el procedimiento o operación. De acuerdo a Samaja (2003, p.190), Todo dato está cargado de praxis y por estarlo, puede ser un eslabón entre los hechos y los conceptos por ello incluye al indicador en la estructura del dato y lo define compuesto por la dimensión de la variable más el procedimiento. De esta manera, Samaja (2003; 2004) sostiene que la descripción de un objeto complejo, y en principio, todo objeto de estudio en el área educativa es complejo, puede realizarse mediante un sistema, considerado como una clase especial de modelo. La noción de sistema permite descomponer un objeto complejo en diversos elementos con el fin de facilitar su análisis. Precisamente, estudiando el estado de un sistema en un punto determinado y evaluando sus elementos será posible compararlo con el de un estado subsiguiente. El concepto de operación permite imprimir a la organización jerárquica de los hechos de la realidad, una connotación dinámica de gran importancia para el establecimiento de un sistema. De esta manera se da una dialéctica interna al mismo: sistema / suprasistema / subsistema. Sin embargo, es necesario puntualizar que para que este esquema funcione se debe entender que todo individuo pueda ser concebido como un colectivo y todo colectivo pueda ser concebido como un individuo. Así, en toda investigación empírica se determinan como mínimo tres matrices de datos relacionadas entre sí, constituyentes de un sistema de matrices de datos (Samaja, 2003, pp. 160-189): a) Una matriz central identificada con la matriz objetivo de la investigación, llamada matriz focal o de anclaje. b) Una matriz constituida por los contextos de las unidades de análisis del nivel de anclaje, llamada matriz de nivel supraunitario o contextual. c) Una matriz constituida por los componentes (partes) de las unidades de análisis del nivel de anclaje, llamada matriz de nivel infraunitario. Algunas de las relaciones que pueden darse entre los tres niveles de matrices, son: a) las variables del nivel inferior pueden funcionar como dimensiones (o sea subvariables) de los indicadores del nivel superior; b) las unidades de análisis del nivel inferior pueden considerarse como variables del nivel superior; y, c) las unidades de análisis del nivel superior pueden obrar como contextos relevantes del nivel inferior. Estas relaciones indican que cada matriz de datos puede ser un elemento de un sistema pero, a su vez, en un nivel de integración inferior, ella misma puede ser un sistema siendo sus elementos los componentes del mismo. El diagrama que muestra la Figura 2 fue diseñado por Samaja (2004, p.52) y brinda aproximadamente las relaciones jerárquicas que presentaría un sistema elemental de matrices de Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 101 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 datos. En el mismo, las flechas verticales unen elementos diferentes de las matrices de datos de distinto nivel. Con una flecha de trazo simple, une a la variable V del nivel inferior con el valor R del nivel inmediato superior; con una flecha de trazo doble, une a la unidad de análisis UA del nivel inferior con una variable V del nivel superior; y con una flecha horizontal con líneas de puntos, se simboliza la proyección de la unidad de análisis UA del nivel superior sobre el nivel inferior como variable contextual. Las flechas horizontales de trazos simples unen componentes del dato de un mismo nivel de integración. Figura 2: Relaciones jerárquicas que presenta un sistema elemental de matrices de datos (Samaja, 2004, p. 52) Es importante destacar que la presencia del indicador en la matriz de datos, se justifica a partir de su papel como mediador entre matrices de distinto nivel de integración, a la vez que incorpora al procedimiento como parte de él. Además, el indicador, al remitir al procedimiento, permite vincular un concepto con un “estado de cosas” del mundo externo, a través de la observación de una o más dimensiones de dicho concepto (Samaja, 2003). 3. Metodología 3.1. Las preguntas de investigación Los criterios del modelo evaluativo seleccionado, además de servir como guías orientadoras para la indagación, originaron una serie de interrogantes motivo de reflexión en el contexto de la asignatura abordada en este estudio: ¿Se realiza evaluación sistemática en forma continua? ¿Es retroalimentado el proceso de enseñanza y aprendizaje en función de los resultados de las evaluaciones? ¿Tienen relevancia para el estudiante los contenidos evaluados? ¿Se evalúa con tareas coherentes a las efectuadas en clases? ¿Se prevén actividades de evaluación que permitan al estudiante monitorear sus logros y errores? ¿Se considera a la evaluación como instrumento que permite optimizar la comunicación de los participantes, motivar al alumno y formar aprendices independientes? ¿Se evalúa el incremento de la potencia matemática del alumno? ¿Se reflexiona sobre el grado de incidencia de la metodología de enseñanza y de los procedimientos de evaluación, como responsables en gran medida del fracaso de los estudiantes? Estos interrogantes llevaron a enunciar la siguiente hipótesis sustantiva de investigación de tipo descriptiva. R V UA (Contexto) Nivel Supraunitario R V UA (Texto) Nivel Focal (anclaje) R V UA (Subtexto) Nivel Infraunitario Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 102 Vol. 78 noviembre de 2011 NÚMEROS 3.2. La hipótesis de investigación “La evaluación del aprendizaje de Matemática 1, se realiza con una concepción reduccionista”. En esta hipótesis la particularidad atribuida a la evaluación del aprendizaje alude a que la misma se considera desintegrada de los procesos de enseñanza y aprendizaje, siendo equivalente a examen y empleada sólo con el fin de acreditar (Pérez González, 2000). Es decir, no existe coherencia entre los criterios de evaluación establecidos y las prácticas evaluativas de la asignatura. 3.3. Acciones llevadas a cabo para contrastar esta hipótesis. Sus condicionamientos Se consideró que las acciones realizadas para contrastar la hipótesis estarían condicionadas por los siguientes factores propios del contexto de la asignatura: baja relación docente alumno, estudiantes con excesivos compromisos horarios de los cuales podía disponerse muy poco tiempo para realizarles entrevistas, encuestas etc., imposibilidad por parte de las docentes participantes en esta investigación de alterar el normal funcionamiento de la asignatura. Teniendo en cuenta esta situación, se consideró que la manera más económica para recabar información acerca de la evaluación del aprendizaje sería mediante el empleo de: i) Los resultados de un trabajo previo: una encuesta a una muestra aleatoria representativa de alumnos evaluados en la asignatura en el año 2007 (Villalonga de García, González de Galindo, Mercau de Sancho y Marcilla, 2009, pp. 658-668). Dicha encuesta fue diseñada en base a los criterios del marco teórico. ii) El análisis de los ítems de todas las pruebas de evaluación sumativa (exámenes parciales y finales) del año 2007 (Villalonga, González, Mercau, Holgado y Marcilla, 2009, pp. 1-10; Villalonga de García y González de Galindo, 2009, pp. 169-180). iii) Una encuesta implementada en 2008 a todo el personal docente de la asignatura, cuyo diseño y análisis es el objetivo de este artículo. 3.4. El cuestionario Atendiendo a los criterios derivados del marco teórico y a características del contexto se diseñó un cuestionario con cinco ítems, tres de ellos de preguntas de respuestas cerradas con una o varias alternativas de elección y dos con preguntas abiertas (Vieytes, 2004, pp. 485-493). Se pretendía detectar, desde la perspectiva de los docentes, cuestiones relativas a la evaluación del aprendizaje y a los motivos de fracaso de los alumnos (ver Anexo 2): A) Si la práctica evaluativa implementada: 1) enriquecía el aprendizaje; 2) evaluaba contenidos relevantes; 3) estaba abierta a todos los participantes del acto evaluativo; 4) promovía inferencias válidas; 5) era un proceso coherente; y 6) facilitaba la toma efectiva de decisiones. Observación: dada las características del curso y la baja relación docente alumno, no puede otorgarse a cada estudiante igualdad de oportunidades y un trato diferenciado. Esta circunstancia llevó a dejar de lado el análisis de la equidad en este estudio. B) Las causas de fracasos de los estudiantes. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 103 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 3.4.1. Pilotaje La encuesta se aplicó a una muestra de tres docentes, a modo de encuesta piloto, con el fin de verificar la claridad de los ítems del cuestionario. Se realizaron luego las modificaciones pertinentes del mismo. 3.4.2. Sujetos Para responder el cuestionario se seleccionó a los diez docentes que participaron en el dictado de la asignatura Matemática 1 durante el primer cuatrimestre de 2008. 3.4.3. Estudio de las características técnicas del instrumento: validez y confiabilidad Se estudió la validez de contenido de la encuesta sometiéndola al juicio de jueces expertos en el tema, quienes comprobaron que los items respondían a los objetivos de la encuesta. La muestra de expertos se seleccionó teniendo en cuenta: años de experiencia docente, capacidad de análisis, espíritu crítico y vínculo con la enseñanza de la asignatura en la universidad. Los jueces seleccionados fueron cinco docentes universitarios de Física y Matemática abocados a la investigación en educación en ciencias. Debían responder al siguiente interrogante: ¿Están contemplados en los ítems de la encuesta todos los objetivos enunciados para su construcción? Ante esta cuestión los jueces debían, para cada uno de los objetivos enunciados, seleccionar una de las opciones: “Adecuadamente Contemplado”, “Medianamente Contemplado” y “No Contemplado”, considerando el grado en el que el objetivo había sido contemplado en las preguntas del cuestionario. Se testó mediante la prueba de rangos de Friedman la hipótesis nula de concordancia de las valoraciones asignadas por los jueces a cada objetivo. Prefijando un nivel de significación a = 0,05 se obtuvo un p-value = 0,107, con lo que se aceptaría la hipótesis de concordancia de las valoraciones asignadas a los objetivos por los cinco jueces. Además, es de destacar que en la concordancia de opiniones, primó en las respuestas la categoría “Adecuadamente Contemplado” en un porcentaje igual al 90 %. La validez de contenido de la encuesta pudo también corroborarse por el marco teórico de referencia construido en base a principios avalados por la comunidad científica actual. Para favorecer la confiabilidad de las mediciones, la respuesta al cuestionario fue anónima, tomada en un ambiente distendido y sin haberse fijado un tiempo máximo para responderla. 3.5. Unidades de análisis, variables, indicadores y valores. Definición operacional de las variables Los objetivos de esta investigación llevaron a escoger como unidad de análisis a la respuesta al ítem (pregunta) del cuestionario, siendo el nivel de anclaje de la matriz focal, el nivel unitario. En esta investigación se hizo un análisis centrado en las variables (Samaja, 2003, pp. 287-288). Las variables consideradas relevantes para el contexto de investigación fueron: 1.Enriquecer el aprendizaje, 2.Relevancia, 3. Apertura, 4. Promover inferencias válidas, 5. Coherencia, 6. Toma de decisiones y 7. Causas de fracasos. Las mismas se definieron conceptualmente atendiendo al marco teórico, a experiencias docentes de las autoras de este trabajo y a características propias del contexto de investigación es decir, a partir La definición conceptual de las variables es la siguiente: Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 104 Vol. 78 noviembre de 2011 NÚMEROS 1. Enriquecer el aprendizaje: prácticas evaluativas de una asignatura que mejoran el aprendizaje. Para esta variable se construyeron las siguientes dimensiones de estudio: 1.1 Evaluación continua: prácticas evaluativas del aprendizaje implementadas como procesos sistemáticos y continuos, integradas a la enseñanza y al aprendizaje. 1.2 Monitoreo de logros y errores: tareas evaluativas que informan continuamente al estudiante de los logros alcanzados y errores cometidos. 1.3 Función comunicativa: tareas evaluativas de una asignatura que favorecen la comunicación entre los participantes (alumno –docente y alumnos entre sí). 1.4 Función motivadora: tareas evaluativas que despiertan el interés del aprendizaje por la asignatura. 1.5 Aprendices independientes: tareas evaluativas que forman a los alumnos en la regulación de sus propios procesos de pensamiento y de aprendizaje. 2. Relevancia: tareas evaluativas llevadas a cabo mediante el empleo de instrumentos integradores que enfatizan contenidos destacados por el currículo, coherentes con el nivel de desarrollo del alumno, que lo motivan y, además, favorecen procesos reflexivos. 3. Apertura: prácticas evaluativas del aprendizaje que brindan continuamente al estudiante información sobre el proceso de enseñanza aprendizaje y le permiten conocer los criterios de evaluación e interpretar los resultados de la misma. 4. Inferencias válidas: prácticas evaluativas implementadas en tres momentos: diagnóstico, formativo y sumativo, que promueven inferencias ciertas acerca del aprendizaje del estudiante y que son llevadas a cabo mediante un programa de evaluación pertinente y validado por expertos. 5. Coherencia: prácticas evaluativas del aprendizaje que se corresponden con lo enseñado en la asignatura. 6. Toma de decisiones: prácticas evaluativas que permiten tomar decisiones valiosas para la enseñanza y el aprendizaje y que se caracterizan por: i) el empleo de múltiples fuentes de información, ii) respetar los tres momentos de la evaluación: diagnóstico, formativo y sumativo, iii) ser motivadoras y iv) emplear instrumentos válidos. 7. Causas de fracasos: factores que tienen mayor influencia en el bajo rendimiento académico de los alumnos de una asignatura. En el Anexo 1, la Tabla 1 muestra el espacio de atributos relevantes para este estudio y la definición operacional de las variables. Si a la respuesta al ítem, unidad de análisis de esta indagación, se le aplica este espacio de atributos obtendremos el sistema de matrices de datos correspondiente a los niveles de anclaje e infraunitario. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 105 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 4. Resultados En las tablas se presentan los resultados de cada ítem como el cociente de la frecuencia de respuesta al ítem dividido en el número de docentes encuestados (10). Pregunta 1 Pregunta 3 Pregunta 4 Ítem Frecuencia de respuesta /10 Ítem Frecuencia de respuesta /10 Ítem Frecuencia de respuesta /10 1 a ) 7/10 3 a ) 8/10 4 a ) 10/10 1 b ) 2/10 3 b ) 10/10 4 b ) 6/10 1 c ) 7/10 3 c ) 2/10 4 c ) 5/10 1 d ) 9/10 3 d ) 7/10 4 d ) 1/10 1 e) 0/10 3 e) 10/10 4 e) 2/10 1 f ) 0/10 3 f ) 2/10 4 f ) 6/10 1 g ) 10/10 3g ) 0/10 4 g ) 6/10 1 h ) 10/10 4 h ) 2/10 4 i ) 9/10 4 j ) 0/10 Pregunta 2: 9 docentes respondieron que evalúan mediante exámenes parciales y finales. Un docente no respondió. Pregunta 3 h): Cite otros factores que considere importantes: “carga horaria de la materia insuficiente”, “escasa ejercitación adicional”, “falta de hábitos de estudio”, “poco uso de recursos brindados por la cátedra: consultas”. Pregunta 5: no hubo ninguna respuesta. 5. Discusión de los resultados. Análisis descriptivo de los datos En los párrafos que siguen se presenta, para cada dimensión de las variables, el análisis descriptivo efectuado. Enriquecer el aprendizaje La información recabada de la dimensión evaluación continua, evidencia que en la práctica la evaluación es concebida como sinónimo de acreditación, ya que 9 de los docentes opinan que se evalúa el aprendizaje mediante exámenes parciales y un examen final. Por otra parte, tan sólo dos docentes manifestaron emplear encuestas para recabar opiniones sobre el proceso de enseñanza y aprendizaje (ítem 4h). Un número mayoritario considera que la evaluación es un instrumento para reflexionar sobre la enseñanza impartida (7/10; ítem 1c) y para ajustar el proceso de enseñanza y aprendizaje (9/10; ítem 1d), acciones que, de acuerdo al sistema evaluativo implementado, se ejecutarían a posteriori de la evaluación sumativa y no como formas de remediar deficiencias durante el proceso de enseñanza y aprendizaje. También, se evidenciarían carencias en la función formativa de la evaluación, dado que los docentes no implementarían acciones para facilitar el monitoreo de logros y errores (0/10; ítem 4j). Tan sólo 2 afirman que la evaluación mejora el aprendizaje (ítem 1b) y ninguno revisa en clases los resultados de los exámenes. Simultáneamente, la evaluación no cumpliría una función motivadora (0/10, ítem 1e). Tampoco favorecería la formación de aprendices independientes: sólo un docente opina que la evaluación propicia procesos reflexivos (ítem 4d) y tan sólo 2 informan a sus alumnos los criterios de evaluación (ítem 4e). Estos datos, sumado a lo ya mencionado, de que no se realizan clases especiales para revisar resultados de exámenes (0/10; ítem 4j) inducirían a Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 106 Vol. 78 noviembre de 2011 NÚMEROS pensar que la evaluación del aprendizaje es implementada sólo como instrumento de control y no como una necesidad emanada del mismo proceso de enseñanza y aprendizaje. Ocho de los docentes (ítem 1f) consideran que la evaluación no favorece la comunicación, postura que podría justificarse dada la baja relación docente-alumno. Para los docentes encuestados la escasa comunicación docente-alumno (2/10; ítem 3f) y alumno- alumno (0/10; ítem 3g) no son interpretados como factores de bajo rendimiento académico. En base a los criterios establecidos en el marco teórico, este análisis indicaría que la evaluación del aprendizaje implementada en Matemática 1 no enriquecería en gran medida el aprendizaje. Relevancia Conforme a principios vigentes de investigación educativa en enseñanza de la Matemática, los resultados revelarían que en la asignatura, hay deficiencias en la relevancia de los contenidos incluidos en la evaluación. Los docentes concuerdan con una problemática que presenta el alumno ingresante a la universidad: conocimientos previos deficientes (10/10; ítem 3b), señalada como una de las principales causas de fracasos de los estudiantes. Otros aspectos que contribuirían a pensar en la escasa relevancia de los contenidos evaluados serían: actividades que difícilmente favorecerían procesos reflexivos (un solo docente opina lo contrario, ítem 4d). No siempre se comparten objetivos con los estudiantes, ni se diseñan tareas evaluativas integradoras. Sólo 6 de los docentes atienden ambos aspectos (ítems 4b y 4f). El estudio relativo a la relevancia se amplió con el análisis de los documentos que contienen los exámenes del año 2007, estudio, que se efectuó en base a criterios específicos para evaluar los contenidos de la disciplina Matemática (evaluación de conceptos, procedimientos, resolución de problemas matemáticos, comunicación matemática y actitudes hacia la matemática) enunciados en un trabajo de Villalonga de García (2006, pp. 60-65) (Villalonga, González, Mercau, Holgado y Marcilla, 2009, pp. 1-10; Villalonga de García y González de Galindo, 2009, pp. 169-180). Apertura Sólo 2 de los docentes informan a sus alumnos los criterios de evaluación. Todos los encuestados opinan que la evaluación no favorece la comunicación y que nunca se implementan clases especiales para revisar resultados de exámenes. Estos datos indicarían deficiencias en la información que los estudiantes tienen del proceso evaluativo. La baja relación docente-alumno y el escaso tiempo disponible para desarrollar los contenidos del currículo, determina que se restrinjan los espacios para compartir criterios evaluativos y juicios que genera la evaluación. Coherencia Existiría coherencia entre lo enseñado y lo evaluado mediante pruebas de papel y lápiz, únicos instrumento empleado para tal fin (10/10; ítem 4a). Toma de decisiones En la asignatura se efectúa sólo evaluación sumativa mediante exámenes parciales y finales (9/10; ítem 2). En consecuencia, la toma de decisiones se efectuaría a posteriori de cada examen. Las dimensiones consideradas: ajustar el proceso de enseñanza y aprendizaje (9/10; ítem 1d), realizar cambios en la planificación (6/10; ítem 4g), reflexionar sobre la enseñanza impartida (7/10; ítem 1c), analizar logros y falencias del aprendizaje (10/10; ítem 1g) y la posibilidad de diagnosticar a partir de la evaluación (7/10; ítem 1a), exhiben acciones que se concretarían después de la evaluación sumativa. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 107 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 La excesiva carga horaria de las tres asignaturas que cursan simultáneamente los alumnos, sumada a los numerosos contenidos matemáticos a desarrollar en un cuatrimestre, determinan que las acciones correctivas de la enseñanza y el aprendizaje deducidas después de cada evaluación sumativa, se implementen recién en el período lectivo siguiente. Estos resultados y los que se observan del análisis de la pregunta 3, referida a factores de mayor influencia en los bajos rendimientos, permiten afirmar que no se implementan, durante el cursado de la asignatura, prácticas evaluativas que posibiliten tomar decisiones valiosas para la enseñanza y el aprendizaje. Inferencias válidas Para promover inferencias válidas acerca del aprendizaje de la matemática es necesario evaluar empleando múltiples fuentes de información. La preponderancia del empleo de instrumentos de evaluación sumativa y la baja relación docente alumno, tornan de dudosa validez las inferencias de aprendizajes significativos que puedan obtenerse de la evaluación implementada. Causas de fracasos Los cuatro factores de mayor influencia en los bajos rendimientos académicos de los estudiantes, ordenados en forma decreciente según porcentajes de respuestas, serían: a) Carencias de conocimientos previos (10/10; ítem 3b) y falta de estudio (10/10; ítem 3e), b) infraestructura inadecuada para grupos numerosos (8/10; ítem 3a) y c) factores personales del alumno (7/10; ítem 3d). Otros causas de fracasos citadas en la opción abierta de la pregunta 3h fueron: “carga horaria de la materia insuficiente”, “escasa ejercitación adicional”, “falta de hábitos de estudio”, “poco uso de recursos brindados por la cátedra: consultas”. Sorprende que los docentes, a pesar de trabajar con aulas multitudinarias, no señalen a la escasa comunicación como causa importante del fracaso en las evaluaciones. 6. Conclusiones Corroboración de la hipótesis de investigación Los resultados obtenidos de este trabajo evidenciarían que la evaluación del aprendizaje sería equivalente a examen, medición o acreditación. Es decir, al estar desintegrada de los procesos de enseñanza y aprendizaje, no sería implementada como un componente estructural y dinámico que posibilita el monitoreo de los avances de cada estudiante hacia las metas de aprendizaje, proporcionándole una retroalimentación relevante y útil que le permita apreciar el incremento de su potencia matemática. Por lo tanto, es posible corroborar la hipótesis de investigación enunciada. O sea, no existiría coherencia entre todos los criterios de evaluación enunciados en el marco teórico y las prácticas evaluativas implementadas en la asignatura. Líneas de investigación que quedan abiertas Han quedado abiertas cuestiones a abordar en el futuro. Los resultados obtenidos a través del tratamiento de los datos aportados por la encuesta a docentes, se completarán posteriormente triangulando información obtenida de otras fuentes: opiniones de los alumnos y de las evaluaciones sumativas (Forni, Gallart y Vasilachis de Gialdino, 1992, pp. 85-86). Las falencias detectadas en este análisis llevan a formular la siguiente pregunta: ¿Podría revertirse esta situación si se implementara un programa de evaluación, ajustado al contexto de Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 108 Vol. 78 noviembre de 2011 NÚMEROS referencia? ¿Contribuiría el mismo a elevar la calidad de la evaluación del aprendizaje de la asignatura? El diseño y puesta en práctica de tal programa será precisamente el objetivo último que se propondrán las autoras del presente trabajo. 7. Bibliografía Camillioni, A. (1998). La calidad de los programas de evaluación y de los instrumentos que los integran. En Camilloni, A.; Celman, S.; Litwin, E. y Palou de Maté, M. (eds.) La evaluación de los aprendizajes en el debate didáctico contemporáneo, 67-92. Paidós: Buenos Aires. Fernández de Alaíza García, B. (2001). La psicología cognitiva contemporánea y sus aplicaciones en la enseñanza de la matemática para no matemáticos. En Hernández Fernández, H., Delgado Rubí, J. y Fernández de Alaíza, B. (eds.) Cuestiones de didáctica de la matemática. Conceptos y procedimientos en la educación polimodal y superior (Segunda edición), 27-31. Homo Sapiens Ediciones: Argentina. Forni F., Gallart M. y Vasilachis de Gialdino I. (1992). Métodos cualitativos II. La práctica de la investigación. Buenos Aires: Centro editorial de América Latina. Galtung, J. (1978). Teoría y métodos de la investigación social. Tomo 1. Quinta edición. Buenos Aires: Eudeba. González de Galindo, S., Villalonga de García, P. y Marcilla, M. (2009). Enseñemos matemática favoreciendo la comunicación y la actividad del alumno. Revista Premisa, 11 (40), 3-13. Hernández Fernández, H., Delgado Rubí, J., Fernández de Alaíza, B., Valverde Ramírez, L. y Rodríguez Hung, T. (2001). Cuestiones de didáctica de la matemática. Conceptos y procedimientos en la Educación Polimodal y Superior. Argentina: Homo Sapiens Ediciones. Jorba, J. y Casellas, E. (1997). Estrategias y técnicas para la gestión social del aula. Volumen 1. La regulación y autorregulación de los aprendizajes. España: Síntesis. Kornblit A. L. (Coordinadora) (2004). Metodologías cualitativas en ciencias sociales. Modelos y procedimientos de análisis. Buenos Aires: Editorial Biblos. Ladrière, J. (1978). Citado por Samaja (2003). Epistemología y metodología. Elementos para una teoría de la investigación científica. 3º edición. 3º reimpresión. Eudeba: Buenos Aires. Moreira, M. A. y Caballero C. (2008). La Teoría del Aprendizaje Significativo. 1ra. Edición. Porto Alegre- Brasil, Burgos- España: UFRGS, Brasil y UBU, España. N.C.T.M. (2000). Principles and Standards for School Mathematic [en línea]. Recuperado el 11 de abril de 2003, de http://standards.nctm.org/document/chapter2/ index.htm. N.C.T.M. (1995). Assessment Standards for School Mathematics [en línea]. Recuperado el 11 de abril de 2003, de http://standards.nctm.org/ Previous/AssStds/index.htm. Pacheco, N. (2005). Comprensión y aprendizaje en Matemática. Argentina: Editorial EFE. Pérez González, O. (2000). La evaluación del aprendizaje como elemento del sistema de dirección del proceso docente. Tesis de doctorado inédita Universidad de Camagüey: Cuba. Pierce, C. (1988). Citado por Samaja J. (2004). Semiótica de la ciencia. Los métodos; las inferencias y los datos a la luz de la semiótica como lógica ampliada. Primera parte. Material del Curso de postgrado: La ciencia como proceso de investigación y dimensión de la cultura. Secretaría de Postgrado de la Universidad Nacional se Tucumán: Argentina. Samaja J. (2003). Epistemología y metodología. Elementos para una teoría de la investigación científica. 3º edición. 3º reimpresión. Buenos Aires: Eudeba. Samaja J. (2004). La ciencia como proceso de investigación y dimensión de la cultura. Material del Curso de postgrado: La ciencia como proceso de investigación y dimensión de la cultura. Secretaría de Postgrado de la Universidad Nacional de Tucumán: Argentina. Vieytes, R. (2004). Metodología de la investigación en organizaciones, mercado y sociedad. Epistemología y técnicas. Buenos Aires: Editorial de las Ciencias. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 109 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 Villalonga de García, P (2006). Evaluar contenidos en matemática. Algunos criterios orientadores. Novedades Educativas, 182, 60-65. Villalonga de García, P.; González de Galindo, S., Mercau de Sancho, S. y Marcilla M. (2009). Perspectivas de los estudiantes acerca de la evaluación del aprendizaje de un curso masivo. En DASS-UCSE (ed.) Libro de Actas Segundo Simposio Internacional de Investigación. “La investigación en la Universidad: Experiencias Articuladas a la Docencia y a la Extensión”, 658- 668. Ediciones DASS-UCSE: Argentina. Villalonga, P., González, S., Mercau, S, Holgado, L. y Marcilla, M. (2009). Dimensiones relevantes para analizar exámenes de matemática. En FRT-UTN (eds.) Memorias del XV EMCI Nacional - VII EMCI Internacional. Vol. CD. FRT-UTN: Argentina. Villalonga, P., González, S., Holgado L., Marcilla, M. y Mercau, S. (2009). Pautas para diseñar actividades evaluativas basadas en teorías de aprendizaje significativo: desde Ausubel hasta Moreira. En Sagula J. (ed.) Memorias del 10º Simposio de Educación Matemática, 1812-1829. EMAT: Argentina. Villalonga de García, P. y González de Galindo, S. (2009). Aprendizaje significativo. Análisis de exámenes escritos de matemática. En DASS-UCSE (ed.) Actas del Tercer Simposio Internacional de Investigación: la investigación y su transferencia a la comunidad, 169-180. Ediciones DASS-UCSE: Argentina. Villalonga de García, Patricia, nacida en 1952 en Tucumán, Argentina. Lic. en Matemática y Mg en Enseñanza de la Matemática Superior. Prof. Asociada de Matemática 1 y Matemática 2 de la Fac. de Bioquímica, Química y Farmacia de la U.N.T., Argentina. Dictó cursos de posgrado. Investigadora del Consejo de Investigación de la U.N.T. Tiene publicados numerosos trabajos en el área Matemática y Educativa en Revistas Nacionales e Internacionales. Email: pvillalonga@fbqf.unt.edu.ar González de Galindo, Susana, nacida en 1948 en Tucumán, Argentina. Lic. en Matemática, Prof. en la Enseñanza Media, Normal y Especial (Especialidad Matemática) y Mg. en la Enseñanza de la Matemática Superior. Prof. Asociada de Matemática 1 y Matemática 2 de la Fac. de Bioquímica, Química y Farmacia, Tucumán. Argentina. Investigadora del Consejo de Investigación de la U.N.T. Dictó cursos de postgrado y publicó numerosos trabajos en el área Matemática y Educativa en Revistas Nacionales e Internacionales. Email: sgalindo@fbqf.unt.edu.ar Mercau de Sancho, Susana Beatriz, nacida en 1967 en Tucumán, Argentina. Lic. en Matemática y Esp. en Investigación Educativa (UNT). J.T.P. de Matemática 1 de la Fac. de Bioquímica, Química y Farmacia. Tucumán. Prof. Adjunta de Análisis Matemático I de la Fac. de Ingeniería de la Universidad del Norte Santo Tomás de Aquino. Investigadora del Consejo de Investigación de la U.N.T .Tiene publicados trabajos en el área Matemática y Educativa. Email: s_mercau@yahoo.com.ar Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 110 Vol. 78 noviembre de 2011 NÚMEROS Anexo 1 Tabla 1: Espacio de atributos con la definición operacional de las variables Variable Dimensión Subdimensión Valor y procedimiento Enriquecer el aprendizaje Evaluación continua Diagnosticar 1: es verdadera 1a. 0: es falsa 1a. Mejorar el aprendizaje 1: es verdadera 1b. 0: es falsa 1b. Reflexionar sobre la enseñanza impartida 1: es verdadera 1c. 0: es falsa 1c. Ajustar el proceso de E-A 1: es verdadera 1d. 0: es falsa 1d. Examen final 1: la U.A pertenece a la clase examen final (p 2). 0: la U.A no pertenece a la clase examen final (p 2). Examen parcial 1: la U.A. pertenece a la clase examen parcial (p 2). 0: la U.A no pertenece a la clase examen parcial (p 2). Encuestas 1: la U.A. pertenece a la clase encuestas (p. 2). 0: la U.A. no pertenece a la clase encuestas (p 2). Acreditación 1: es verdadera 1h. 0: es falsa 1h. Monitoreo de logros y errores Mejorar el aprendizaje 1: es verdadera 1b. 0: es falsa 1b. Revisar en clases resultados de exámenes 1: es verdadera 4j. 0: es falsa 4j. Comunicación Favorecer la comunicación 1: es verdadera 1f. 0: es falsa 1f. Comunicación docente - alumno 1: señala 3f. 0: no señala 3f. Comunicación alumno – alumno 1: señala 3g. 0: no señala 3g. Revisar en clases resultados de exámenes 1: es verdadera 4j. 0: es falsa 4j. Función motivadora Motivar al alumno 1: es verdadera 1e. 0: es falsa 1e. Aplicaciones a las ciencias 1: es verdadera 4c. 0: es falsa 4c. Aprendices independientes Favorecer procesos reflexivos 1: es verdadera 4d. 0: es falsa 4d. Informar los criterios de evaluación 1: es verdadera 4e. 0: es falsa 4e. Apertura Se informan criterios de evaluación 1: es verdadera 4 e. 0: es falsa 4 e. Favorecer la comunicación 1: es verdadera 1f. 0: es falsa 1f. Revisar en clases resultados de exámenes 1: es verdadera 4j. 0: es falsa 4j. Evaluación acorde a los objetivos 1: es verdadera 4 b. 0: es falsa 4 b. Relevancia Conocimientos previos 1: se señaló como factor de bajos rendimientos 3b. 0: no se señaló como factor de bajos rendimientos 3b. Aplicaciones a las ciencias 1: es verdadera 4 c. 0: es falsa 4 c. Favorecer procesos reflexivos 1: es verdadera 4 d. 0: es falsa 4 d. Instrumento integrador 1: es verdadera 4 f. 0: es falsa 4 f. Evaluación acorde a los objetivos 1: es verdadera 4 b. 0: es falsa 4 b. Coherencia 1: es verdadera 4a. 0: es falsa 4a. Nota: 1a,1b,1c,1d,1e,1f, 1h, p2, 3b,3g,3f, 4a, 4b,4c, 4d, 4e, 4f, 4j son los correspondientes números de ítems del cuestionario. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 111 Sociedad Canaria Isaac Newton de Profesores de Matemáticas Vol. 78 noviembre de 2011 Tabla 1 (Continuación): Espacio de atributos con la definición operacional de las variables Variable Dimensión Subdimensión Valor y Procedimiento Causas de fracasos Comunicación alumno – alumno 1: señala 3g. 0: no señala 3g. Comunicación docente – alumnos 1: señala 3f. 0: no señala 3f. Metodología implementada 1: señala 3c. 0: no señala 3c. Factores personales 1: señala 3d. 0: no señala 3d. Infraestructura inadecuada 1: señala 3a. 0: no señala 3a. Conocimientos previos deficientes 1: señala 3b. 0: no señala 3b. Falta de estudio 1: señala 3e. 0: no señala 3e. Inferencias válidas Cambios o ajustes en la planificación . 1: es verdadera 4g. 0: es falsa 4g Reflexionar sobre la enseñanza impartida 1: es verdadera 1c. 0: es falsa 1c. Validez de contenido 1: es verdadera 4i. 0: es falsa 4i. Diagnóstico 1: es verdadera 1a. 0: es falsa 1a. Encuestas 1: la U.A. pertenece a la clase encuestas (p 2). 0: la U.A. no pertenece a la clase encuestas (p 2). Examen parcial 1: la U.A pertenece a la clase examen parcial (p 2). 0: la U.A. no pertenece a la clase examen parcial (p 2). Examen final 1: la U.A pertenece a la clase examen final (p 2). 0: la U.A. no pertenece a la clase examen final (p 2). Toma de decisiones Ajustar el proceso de E-A 1: es verdadera 1d. 0: es falsa 1d. Reflexionar sobre la enseñanza impartida 1: es verdadera 1c. 0: es falsa 1c. Cambios o ajustes en la planificación 1: es verdadera 4g. 0: es falsa 4g. Motivar al alumno 1: es verdadera 1e. 0: es falsa 1e. Revisar en clases resultados de exámenes 1: es verdadera 4j. 0: es falsa 4j. Analizar logros y falencias 1: es verdadera 1g. 0: es falsa 1g. Diagnóstico 1: es verdadera 1a. 0: es falsa 1a. Encuestas 1: la U.A. pertenece a la clase encuestas (p 2). 0: la U.A. no pertenece a la clase encuestas (p 2). Examen parcial 1: la U.A pertenece a la clase examen parcial (p 2). 0: la U.A. no pertenece a la clase examen parcial (p 2). Examen final 1: la U.A pertenece a la clase examen final (p 2). 0: la U.A. no pertenece a la clase examen final (p 2). Nota: 1a, 1c, 1d, 1e, 1g, p2,3a 3b,3c,3d,3e,3f, 3g, 4g, 4i, 4j son los correspondientes números de ítems del cuestionario. Coherencia entre criterios de evaluación y prácticas evaluativas de matemática P. Villalonga de García, S. González de Galindo y S. B. Mercau de Sancho 112 Vol. 78 noviembre de 2011 NÚMEROS Anexo 2 ENCUESTA A DOCENTES DE MATEMÁTICA 1. AÑO 2008 El objetivo de este cuestionario es conocer las características que para usted tiene la evaluación en MATEMÁTICA 1. Se agradece su respuesta anónima, la cual será un aporte valioso para analizar este aspecto fundamental del proceso de enseñanza y aprendizaje vigente en esta asignatura. 1) Señale con una cruz la proposición que considere verdadera. Puede marcar una o más: En Matemática 1 los instrumentos de evaluación que se implementan permiten: a) diagnosticar el nivel de conocimientos del grupo de alumnos, b) enriquecer el aprendizaje de los alumnos, c) reflexionar sobre la enseñanza impartida, d) ajustar el proceso de enseñanza y aprendizaje, e) motivar al alumno, f) favorecer la comunicación entre los participantes, g) conocer logros y falencias en el aprendizaje, h) acreditar. 2) ¿Qué instrumentos emplea para evaluar a los alumnos y al proceso de enseñanza y aprendizaje? 3) Señale los cuatro factores que de acuerdo a su criterio, tienen mayor influencia en los bajos rendimientos académicos de sus alumnos. a) Infraestructura inadecuada para grupos numerosos. b)Deficiencias en los conocimientos previos. c) La metodología de enseñanza implementada. d)Factores personales del alumno. e) Falta de estudio. f) Escasa comunicación entre docente y alumnos. g)Escasa comunicación entre alumnos entre sí. h)Cite otros factores que considere importantes: 4) Califique las siguientes proposiciones, referidas a Matemática I, de verdaderas o falsas: a) Se evalúa lo que se enseña. b)Se evalúa de acuerdo a los objetivos propuestos. c) En las evaluaciones se incluyen actividades de aplicación a las ciencias. d)Las actividades de evaluación favorecen procesos reflexivos sobre los contenidos matemáticos desarrollados en clase. e) Se informa a los alumnos sobre los criterios de evaluación. f) Para otorgar la condición de alumno regular, se evalúa con un instrumento integrador de todos los temas estudiados. g)A partir de la información que se recoge de la evaluación se realizan cambios o ajustes en la planificación establecida. h)Durante el cursado de la asignatura, el docente implementa encuestas a sus alumnos a fin de autoevaluarse y modificar posteriormente su accionar en las clases restantes. i) Cada instrumento de evaluación goza de validez de contenido (contiene un alto porcentaje del total de contenidos desarrollados durante el curso) j) Se implementan clases especiales para analizar logros y errores cometidos por los alumnos en las pruebas escritas. 5) Sugiera los aspectos acerca de la evaluación que, de acuerdo a su opinión, no fueron incluidos en esta encuesta. |
|
|
|
1 |
|
A |
|
B |
|
C |
|
E |
|
F |
|
M |
|
N |
|
P |
|
R |
|
T |
|
V |
|
X |
|
|
|