Comentarios de MIDE UC al proyecto de Ley de Política Nacional Docente ante las Comisiones de Educación del Senado y la Cámara de Diputados

martes, junio 2, 2015

Jorge Manzi y Yulan Sun

El 19 de octubre, MIDE UC expuso ante la Comisión de Educación y Cultura del Senado sus comentarios acerca del Proyecto de Ley para crear el nuevo Sistema de Desarrollo Profesional Docente. Anteriormente, el 2 de junio, lo hizo  ante la Comisión de Educación de la Cámara de Diputados. En ambas oportunidades el Centro de Medición de la Pontificia Universidad Católica de Chile estuvo representado por su director Jorge Manzi y Yulan Sun, la directora del Proyecto de Evaluación Docente de MIDE UC. El propósito de dichas exposiciones fue plantear comentarios generales al Proyecto de Ley y otros específicos a los instrumentos de evaluación que contempla la propuesta. Esto, considerando la experiencia que MIDE UC ha tenido el ámbito de la evaluación docente que a través de su participación en los programas Docentemás (desde 2003), Asignación de Excelencia Pedagógica (desde 2002) y Prueba Inicia (desde 2008).

Comisión EducaciónEn MIDE UC creemos que el país requiere de una política docente bien articulada, que resuelva tres grandes nudos: atraer a la carrera docente a jóvenes talentosos, mejorar la calidad de la formación inicial, y diseñar una carrera desafiante, con compensaciones crecientes y justas. Por esto, valoramos que la propuesta de Ley promueva la calidad de los procesos educativos reconociendo la centralidad que para ello tienen los profesores. Esto se expresa en hacer más atractiva la carrera para los jóvenes que egresan de la enseñanza media; en promover un mejoramiento de la formación docente, incluyendo un proceso de inducción inicial y en la propuesta de un escalamiento de la carrera que mejora sustantivamente las condiciones laborales y las compensaciones salariales hoy existentes.

Asimismo, nos parece positivo que se trate de una política universal, para todo el sistema que recibe financiamiento estatal y también para docentes de los distintos niveles y modalidades. También rescatamos que sea un proyecto enfocado en el desarrollo profesional, mediante la certificación y el apoyo a los docentes, lo que permitiría una progresión en la carrera, asociada a responsabilidades y remuneraciones, y basada en evidencia del desempeño y conocimiento profesional.

Sin embargo, consideramos que el proyecto -a pesar de que se inspira en el desarrollo profesional- no aclara cómo deberían ser los aspectos sumativos y formativos de los procesos de evaluación que permitan orientar dicho desarrollo profesional. No se identifican con claridad ni se promueve la existencia de dispositivos formativos a nivel local, que estimamos son esenciales.

En relación a los mecanismos de evaluación que considerará la ley, proponemos que se eviten rigideces en aspectos que debieran ser objeto de revisión periódica. Por ejemplo, creemos inconveniente que se establezcan en la ley puntos de corte de los instrumentos. Asimismo, sugerimos que quede abierta la posibilidad de ajustar los contenidos y la composición de instrumentos según evolucione el marco de expectativas para el desempeño docente. También creemos conveniente incorporar exigencias conjuntivas[1] –en lugar de compensatorias- para acceder a tramos avanzados de la carrera, lo que garantizaría mínimos deseables y prevendría falsos positivos. Por último, sugerimos que la definición de estos aspectos sea responsabilidad de un ente independiente del Ministerio de Educación y de la entidad técnica a cargo de las evaluaciones. Este ente debiera ser representativo e independiente y quedar establecido legalmente.

Comentarios acerca de los instrumentos de evaluación propuestos en el Proyecto de Ley

El Proyecto propone la certificación de los tramos establecidos en la carrera, mediante un portafolio enriquecido y pruebas de conocimientos disciplinares. Al respecto, respaldamos que la progresión en la carrera se base en alguna evidencia sistemática relacionada con el desempeño y preparación de los docentes. No creemos posible sustentar que la progresión solo se base en los años de experiencia, aunque si creemos que la experiencia debe ser reconocida al interior de cada tramo de la carrera. Complementariamente, en la medida que se requiere emplear instrumentos para evaluar el desempeño y preparación, consideramos esencial que los que se empleen minimicen el riesgo de subjetividad o arbitrariedad, lo que supone prestar atención a su confiabilidad, consistencia entre evaluadores y especialmente a su validez.

Respecto de estos instrumentos, existe evidencia internacional de que las pruebas son útiles para certificar mínimos en la preparación de docentes en los ámbitos en que enseñan: conocimientos de la disciplina, de la didáctica de la disciplina y conocimientos pedagógicos generales. Las pruebas son empleadas para evaluar la preparación docente en diversos países del mundo, como lo revela un reciente informe de la OECD (OECD, 2013).

En el caso del portafolio, existe una valoración internacional de este instrumento, dado que es la evidencia más directa del desempeño profesional, y la que mejor refleja la complejidad del trabajo docente. Además, el portafolio es altamente flexible ya que puede incluir muestras de trabajo del docente, artefactos de enseñanza, grabaciones de clase, comentarios reflexivos, etc. Esta flexibilidad le permitiría incorporar nuevas tareas que reflejen el trabajo del docente fuera del aula, especialmente en actividades colaborativas con sus colegas.

Asimismo, el portafolio presenta la ventaja de tener un alto potencial formativo, ya que permite diagnosticar y retroalimentar, dado queidentifica fortalezas y debilidades en el desempeño. Es coherente con el trabajo habitual de los docentes y su percepción de cómo identificar un buen profesor; y promueve la reflexión a nivel individual y colectivo, lo que ha sidoreportado por evaluados y detectado en un estudio de validez consecuencial a través de un proyecto FONDECYT (Santelices, et al, 2013; Taut et al, 2011).

Por otro lado, hay evidencia de la relación directa (positiva) entre desempeño de los docentes en el portafolio y los logros de aprendizaje de los estudiantes, demostrada en diversos estudios y con distintas metodologías.

  • Alvarado et al. (2012) constataron que 1 punto más en el Portafolio se asocia a 18 puntos más en SIMCE Matemática y 12 en Lenguaje.
  • Taut  et al (2014) emplearon la metodología de Valor Agregado con datos SIMCE de 8° básico y 2° medio. Observaron que el desempeño de los docentes en el portafolio se asociaba significativamente con el valor agregado en el SIMCE.
  • Hallazgos preliminares de proyecto FONDECYT 1120441, 2012-15 (dirigido por Taut), compara docentes con nivel final Básico y Competente en Evaluación Docente en términos del progreso en el aprendizaje de sus estudiantes en un año escolar, y encuentra diferencias asociadas al resultado en el portafolio.

 

En Chile, se utiliza el portafolio desde 2002  en el programa de Asignación de Excelencia Pedagógica y desde 2003 en la Evaluación Docente. Esta experiencia nos permite asegurar que su construcción y corrección requieren un alto nivel de especialización. Además, se debe considerar que la propuesta de ley de Carrera Docente impone nuevos desafíos al uso del portafolio:

  • Responder a nuevas demandas de la certificación, por ejemplo debe considerar a los grupos que hoy no están en la Evaluación Docente  como educadoras de párvulos de nivel medio o sala cuna y docentes de especialidades Técnico Profesional.
  • Dar cuenta de los distintos tramos. Para orientar el desarrollo de los instrumentos en esta línea se requiere una definición clara y precisa en la ley de lo que significa cada categoría de los cinco tramos, distinguiendo por ejemplo lo que caracteriza al nivel superior del nivel experto.
  • Incorporar elementos de trabajo colaborativo entre docentes y roles fuera del aula (apoyo a gestión directiva, trabajo con la comunidad, innovación e investigación pedagógica).
  • Lograr una evaluación confiable, dadas las consecuencias asociadas y especialmente si no hay retrocesos en la carrera:

o   Será indispensable la doble corrección del 100% de los portafolios.

o   La certificación del tramo Avanzado requerirá más confiabilidad, y por tanto más evidencia (Esto se podría conseguir incrementando a dos el número de grabaciones de clase o también requiriendo dos evaluaciones consecutivas que confirmen que el docente cumple con las exigencias asociadas a este tramo).

  • Evitar prácticas fraudulentas como la copia y compra de portafolios, aplicando mecanismos de detección automatizados, basados en entrega de evidencia en formato digital. Adicionalmente esto requiere implementar sanciones contundentes y claras para desincentivar estas prácticas.

 

Otros instrumentos de evaluación posibles

Después del portafolio, pero a gran distancia, el instrumento más relacionado con el logro de los estudiantes es la evaluación a los docentes realizada por los directores. A pesar de reconocer el rol clave que tienen los directivos, es importante considerar que en un contexto donde sus evaluaciones posean altas consecuencias, se pueden presentar distorsiones que afecten la equidad de las evaluaciones y reduzcan la confiabilidad del instrumento. Nuestra sugerencia es que no se puede omitir la participación de los directivos, pero creemos que al menos en esta etapa, sería más relevante promover su rol en la evaluación a nivel local con fines formativos, lo que supone desarrollar en ellos competencias específicas de evaluación y observación de docentes.

Otro instrumento posible de aplicar son las encuestas a alumnos, cuyas preguntas pretenden identificar aquellas experiencias de los estudiantes que son el reflejo de prácticas de buena enseñanza. En los últimos años se han desarrollado nuevos instrumentos para recoger la percepción de los estudiantes. Sin embargo, no hay evidencia internacional de uso de estas encuestas en contextos de altas consecuencias, en mediciones de gran escala. Es importante advertir que su uso con fines sumativos conlleva riesgos de obtener resultados inválidos, dada la presión que pueden ejercer sobre ellas estudiantes y profesores. A pesar de lo anterior, estas encuestas tienen un potencial formativo muy alto para retroalimentar la labor de los docentes, por lo que se las debiera considerar en evaluaciones locales.

Calidad versus efectividad docente

En este punto queremos referirnos a un tema que ha sido ampliamente debatido en el mundo académico y en el de las políticas educativas: la pertinencia de evaluar la efectividad de los docentes a través de medidas de logro  de los estudiantes. Nuestra posición es que aun empleando las mejores metodologías que se han desarrollado (como la de valor agregado), no es posible asignar de manera inequívoca y justa el desempeño de los estudiantes a la acción de un determinado profesor, por lo que no hay base suficiente para incorporar este tipo de evidencia a la evaluación de docentes.

Entre los problemas que se han constatado con esta metodología se pueden mencionar: (a) para evaluar la efectividad se requiere contar con pruebas espaciadas anualmente en todos los niveles y sectores, lo que no es realista y generaría una sobrecarga de mediciones a los estudiantes; (b) aunque se contara con los datos anteriores, es muy difícil estimar la efectividad docente, controlando todos los otros factores que inciden en el aprendizaje y que están fuera de su influencia; (c) los estudios muestran que el valor agregado asociado a un docente varía en el tiempo, por lo que habría que promediar varias estimaciones para llegar a un resultado confiable (Newton et al., 2010; Baker et al., 2010); (d) es importante considerar que en varias asignaturas no existen pruebas estandarizadas de los estudiantes, por lo que no se puede estimar su valor agregado de los profesores en muchas asignaturas; y (e) finalmente, tampoco es  posible emplear este método en aulas pequeñas o cuando hay movilidad de estudiantes y profesores.

Dado lo anterior la posición de MIDE UC es que el aprendizaje de los estudiantes debiera ser un criterio para validar los instrumentos de la evaluación docente, pero no debería formar parte de esta.

Conclusiones finales y recomendaciones

  • MIDE UC estima que el proyecto de ley presentado, aunque requiere refinamientos, representa un avance muy sustantivo en la dirección de valorar, dignificar y promover la profesión docente en nuestra sociedad, al establecer un marco que mejora aspectos críticos como el atractivo de la carrera, la calidad de la formación inicial y el establecimiento de una carrera que mejore las condiciones laborales y que recompense de manera más justa y creciente el desempeño de los docentes a través de su ciclo laboral.
  • El proyecto de ley reconoce la necesidad de contar con herramientas que permitan certificar que los docentes poseen la preparación y desempeño acordes con las distintas etapas de la carrera profesional, y lo hace identificando instrumentos que cuentan con amplio respaldo en la investigación internacional. Sin embargo, el proyecto no desarrolla suficientemente la dimensión formativa de la evaluación, la que debiera manifestarse especialmente a nivel local, para promover el desarrollo profesional continuo de los docentes. Esta evaluación local debiera incorporar una mayor variedad de instrumentos, idealmente alineados con el mismo marco normativo (Marco para la Buena Enseñanza) que oriente los instrumentos para la certificación. En consecuencia, recomendamos promover más decididamente la dimensión de desarrollo profesional de esta ley garantizando recursos y apoyos para estos fines.
  • Por otra parte, alertamos acerca de la inconveniencia de establecer en la ley reglas específicas para acceder a tramos de la carrera. Proponemos, en cambio, establecer una instancia independiente, ad hoc, que permita hacer modificaciones sobre instrumentos y sus puntajes, basadas en la experiencia y evidencia.
  • Nuestra sugerencia es distinguir y articular evaluaciones adecuadas para fines sumativos y formativos:
    • Para fines sumativos: evaluar conocimientos y desempeños profesionales a través de dos instrumentos.
      • Portafolio enriquecido que además de lo que actualmente contempla, agregue evidencia acerca de trabajo colaborativo y fuera del aula. Sugerimos que este instrumento considere diferentes tareas para etapas avanzadas de la carrera.
      • Pruebas debieran estar contempladas preferentemente en las primeras etapas (hasta el nivel avanzado), para asegurar una preparación mínima y actualizada de los docentes.
    • Para fines formativos:
      • Recurrir a una amplia batería de instrumentos, con foco prioritario en el aula, que debiera otorgar un rol relevante al director y pares,quienes deben recibir preparación para desarrollar competencias de observación y retroalimentación.
      • Considerar cuestionarios de estudiantes y padres.
      • Promover que los instrumentos formativos, aunque diversos, se basen en un mismo marco de referencia como el Marco para la Buena Enseñanza.

Descargar aquí la Presentación MIDE UC ante Comisión de Educación Cámara de Diputados

 

Referencias:

  • Alvarado, M., Cabezas, G., Falck, D. & Ortega, M. E. (2012). La Evaluación Docente y sus instrumentos: Discriminación del desempeño docente y asociación con los resultados de los estudiantes. Centro de Estudios MINEDUC & PNUD.
  • American Educational Research Association, American Psychological Association, and National Council on Measurement in Education (AERA, APA & NCME) (2014). Standards for educational and psychological testing. Washington, D.C.: American Educational Research Association.
  • Baker, E. L., Barton, P. E., Darling-Hammond, L., Haertel, E., Ladd, H. F.,  Linn, R. L, Ravitch, D., Rothstein, R., Shavelson, R. J. & Shepard, L. A. (2010). Problems with the use of student test scores to evaluate teachers. (EPI Briefing Paper #278). Washington, DC: Economic Policy Institute.
  • Bravo, D., Falck, D., González, R., Manzi, J. & Peirano, C. (2008). La relación entre la evaluación docente y el rendimiento de los alumnos: Evidencia para el caso de Chile. Extraído el 07 de abril de 2014 de http://www.microdatos.cl/docto_publicaciones/Evaluacion%20docentes_rendimiento %20escolar.pdf
  • Darling-Hammond, L., Chung, R. & Johnson, C. (2009). Teacher preparation and teacher learning. En Handbook of Education Policy Research. Sykes, G., Schneider, B. & Plank, D. Nueva York: American Educational Research Association.
  • Jacob,B. & Lefgren, L. (2008). Can principals identify effective teachers? Journal of Labor Economics, 26, 101-136.
  • Marzano, R. & Toth, M. (2013). Teacher evaluation that makes a difference: A new model for teacher growth and student achievement. Alexandria, VA: ASCD.
  • Newton, X., Darling-Hammond, L., Haertel, E. & Thomas, E. (2010). Value-Added Modeling of Teacher Effectiveness: An Exploration of Stability across Models and Contexts. Education Policy Analysis Archives, 18(23). Retrieved from: http://epaa.asu.edu/ojs/article/view/810
  • Organización para la Cooperación y el Desarrollo Económico [OECD]. (2009), Creating Effective Teaching and Learning Environments: First Results from TALIS, OECD Publishing, Paris. http://dx.doi.org/10.1787/9789264072992-en.
  • Organización para la Cooperación y el Desarrollo Económico [OECD]. (2013). Teachers for the 21st century: Using evaluation to improve teaching. OECD Publishing.
  • Santelices, V., Taut, S., Araya, C. & Manzi, J. (2013). Consecuencias a Nivel Local de un Sistema de Evaluación de Profesores: El Caso de Chile [Consequences of a Teacher Evaluation System at District Level: The Case of Chile] . Revista Estudios Pedagógicos, 39(2), 299-328.
  • Taut, S., Santelices, V., Araya, C. & Manzi, J. (2011). Perceived effects and uses of the national teacher evaluation system in Chilean elementary schools. Studies in Educational Evaluation, 37, 218-229. DOI: http://dx.doi.org/10.1016/j.stueduc.2011.08.002
  • Taut, S., Valencia, E., Palacios, D., Santelices, V., Jimenez, D. & Manzi, J. (2014) Teacher performance and student learning: Linking evidence from two national assessment programmes. Assessment in Education: Principles, Policy & Practice, DOI: 10.1080/0969594X.2014.961406
  • Tucker, P. (1997). Lake Wobegon: Where all teachers are competent. Journal of Personnel Evaluation in Education, 11(2), 103-126.

 

 

 

escrito en: MideUC Opina |