Proyectos de Investigación

Validación del Sistema de Evaluación del Desempeño Profesional Docente (2005 a la fecha)

La investigación sobre el programa nacional de evaluación incluye estudios de validez en relación con otras variables, tales como, desempeño en el aula estudiado en profundidad (2006; 2012-2015), aprendizaje de los estudiantes (2012-2013) y validez consecuencial (2008-2011). Dos de estos estudios fueron financiados por fondos concursables (Conicyt-FONDECYT), ver detalle más abajo. En el área de la confiabilidad, se desarrollaron estudios de generalizabilidad, y análisis de confiabilidad entre jueces. Además, respecto de la estructura interna de los instrumentos, se realizaron periodicamente análisis factoriales exploratorios y confirmatorios. Adicionalmente, en el 2005 se implementó un proceso de auto-evaluación al interior del equipo a cargo del sistema de evaluación, con base en los Estándares de Evaluación de Personal (Joint Committee for Standards in Educational Evaluation, 1988).

Para más información sobre el Sistema de Evaluación del Desempeño Profesional Docente, visite: www.docentemas.cl

Publicaciones y presentaciones asociadas:

Taut, S. & Sun, Y. (2014). The Development and Implementation of a National, Standards-based, Multi-method Teacher Performance Assessment System in Chile [Desarrollo e Implementación de un Sistema de Evaluación Docente en Chile, basado en estándares y multi-método]. Education Policy Analysis Archives, 22(71), 1-30. http://dx.doi.org/10.14507/epaa.v22n71.2014

Taut, S., Santelices, V. & Stecher, B. (2012). Validation of a national teacher assessment and improvement system [Validación de la evaluación nacional docente y del sistema de mejora]. Educational Assessment Journal, 17(4), 163-199.  http://dx.doi.org/10.1080/10627197.2012.735913

Taut, S., Santelices, V. & Manzi, J. (2011). Estudios de validez de la Evaluación Docente [Validation studies of the Chilean National Teacher Evaluation]. In: Jorge Manzi, Roberto Gonzalez, Yulan Sun (Eds.), La Evaluación Docente en Chile [The Chilean national teacher evaluation system], pp. 157-175. Pontificia Universidad Católica de Chile, Santiago, Chile.

Santelices, V. & Taut, S. (2011). Convergent validity evidence regarding the Chilean standards-based teacher evaluation system [Evidencia de validez convergente  del sistema chileno de evaluación docente basado en estándares]. Assessment in Education, 18(1), 73-93. http://dx.doi.org/10.1080/0969594X.2011.534948

Taut, S. & Santelices, V. (2009). Validity issues in assessing teacher competencies [Problemas de validez en la evaluación de competencias docentes]. Paper presented at the annual meeting of the European Educational Research Association (EERA-ECER), September 27-30, 2009 in Viena, Austria.

Taut, S. & Santelices, V. (2007). Validating the Chilean National Teacher Evaluation System: A comprehensive research agenda [Validación del Sistema Nacional de Evaluación Docente en Chile: Un programa de investigación exhaustivo]. Paper presented at the Annual Meeting of the American Educational Research Association, April 9-13, 2007, in Chicago, USA.

Santelices, V., Taut, S. & Valencia, E. (2008). Estudio comparativo de los resultados de los programas Docentemás y AEP entre 2002 y 2006 [Comparative quantitative analysis of the results of the national teacher evaluation program and the accreditation of excellence in teaching program between 2002 and 2006]. Documento interno MIDE UC.

Validation of the Chilean National Teacher Evaluation System using student learning progress and in-depth examinations of teacher practice

[Validación del Sistema de Evaluación Docente chileno, utilizando el progreso en el aprendizaje de los estudiantes y otros indicadores de la práctica docente] (2012 – 2015)

Este proyecto Fondecyt Regular Nº 1120441 investiga la validez de la Evaluación Docente en Chile con dos focos principales: (a) la relación entre resultados de la Evaluación Docente y el progreso en el aprendizaje de los estudiantes de los docentes evaluados; (b) la distinción entre docentes evaluados en las categorías de desempeño básico versus competente. Adicionalmente, los datos recolectados para este proyecto se pueden aprovechar para describir la calidad del proceso de enseñanza-aprendizaje y para analizar la relación entre prácticas docentes y aprendizaje en matemática. Para el primer foco se vincularon las bases de datos SIMCE 2004 y 2006, y de la Evaluación Docente. Para el segundo foco se grabaron dos clases de los docentes participantes,  y se les  pidió  completar una prueba de conocimientos para enseñar las matemáticas. Del mismo modo, se aplicaron pruebas de aprendizaje y cuestionarios a los estudiantes.

Publicaciones y presentaciones asociadas:

Pérez-Cotapos, M.A. & Taut, S. (2015). Adaptación y pilotaje de un portafolio para evaluar prácticas de evaluación de aprendizajes en el aula en profesores de matemática de segundo ciclo básico [Adaptation and piloting of a portfolio for evaluating classroom assessment practices of middle school mathematics teachers.]. Psykhe, 24(2), 1-14. doi: 10.7764/psykhe.24.2.681

Taut, S., Valencia, E., Palacios, D., Santelices, V., Jiménez, D. & Manzi, J. (2014). Teacher performance and student learning: Linking evidence from two national assessment programs [Desempeño docente y aprendizaje de los alumnos: Vinculación de la evidencia de dos programas de evaluación nacional]. Assessment in Education: Principles, Policy & Practice. doi: 10.1080/0969594X.2014.961406

Jiménez, D. & Taut, S. (2014). Das Bildungssystem in Chile unter besonderer Berücksichtigung der Rolle der Lehrerinnen und Lehrer als Schlüssel der Bildungsqualität [The educational system in Chile with special emphasis on the role of teachers as the key to educational quality] [El sistema educativo en Chile con especial énfasis en el papel de los profesores como la clave para la calidad educativa]. In: Oelsner, V. & Richter, C., Bildungsentwicklungen in Lateinamerika [Educational developments in Latin America], pp. 98-118. Münster: Waxmann-Verlag.

Espinoza, A.M & Taut, S. (2014, August). El rol del género en las interacciones pedagógicas de aulas de matemática chilenas: Un análisis de evidencia audiovisual. Paper presented at the Congreso Interdisciplinario de Investigación en Educación (CIIE), August 21, 2014, Santiago, Chile.

Jiménez, D. & García-Zattera, M.J. (2014, September). Linking Mathematics Learning Growth and Students´ Attitudes [Vinculación del progreso en el aprendizaje de las matemáticas y las actitudes de los estudiantes]. Paper presented at the European Educational Research Association (EERA-ECER), Porto, Portugal.

Taut, S., Valencia, E., Palacios, D., Jimenez, D. & Manzi. J. (2013, August). Relationship between multiple measures of teaching quality and student learning: Evidence from Chile [Relación entre medidas múltiples de la calidad de enseñanza y el aprendizaje de los estudiantes: Evidencia de Chile]. Paper presented at the bi-annual conference of the European Association for Research on Learning and Instruction (EARLI), Munich, Germany.

Taut, S., Valencia, E. & Escobar, J. (2012). La Validez de la Evaluación Docente en Chile Usando Como Criterio Estimaciones de Valor Agregado de Profesores de Enseñanza Media [The Validity of the Teacher Evaluation Program in Chile Using Value-added Indicators for High School Teachers]. Reporte Técnico MIDE UC IT 1204. Santiago: Pontificia Universidad Católica de Chile.

Taut, S., Valencia, E. & Escobar, J. (2012, October). La Relación entre el Valor Agregado y los Resultados de los Profesores en la Evaluación Docente en Chile. Congreso Latinoamericano de Medición y Evaluación Educacional (COLMEE). Santiago, Chile.

Estudio de validez consecuencial de los sistemas de evaluación de desempeño y excelencia docente (2008 – 2011)

Este proyecto Fondecyt Regular Nº 1080135 examinó las consecuencias de la Evaluación Docente y de la Asignación de Excelencia Pedagógica para docentes evaluados, escuelas y municipios. Se comenzó estableciendo los efectos esperados de esas políticas educacionales a través de análisis de documentos y entrevistas con actores claves. En el caso de la Evaluación Docente, en distintos sub-estudios se abordaron temas como: (a) consecuencias en la trayectoría laboral de docentes insatisfactorios, (b) efectos percibidos por los docentes evaluados con distintos niveles de desempeño, (c) características de los Planes de Superación Profesional (PSP) como una consecuencia obligatoria pero de carácter formativo, (d) participación en la Asignación Variable de Desempeño Individual (AVDI) como un incentivo monetario ligado a la evaluación, (e) efectos percibidos y usos reportados por directores y jefes UTP a nivel escuela, y jefes DAEM y encargados de evaluación a nivel municipal, (f) la rebeldía como consecuencia no intencionada. Se utilizaron distintos métodos, tanto cuantitativos como cualitativos, según la pregunta de investigación.

Publicaciones y presentaciones asociadas:

Santelices, V., Taut, S., Araya, C. & Manzi, J. (2013). Consecuencias a Nivel Local de un Sistema de Evaluación de Profesores: El Caso de Chile [Consequences of a Teacher Evaluation System at District Level: The Case of Chile] . Revista Estudios Pedagógicos, 39(2), 299-328.

Araya, C., Taut, S., Santelices, V., Manzi, J. & Miño, F. (2012). Teoría Subyacente del Programa de Asignación de Excelencia Pedagógica en Chile [Theory of Action of the Certification of Teaching Excellence Program in Chile]. Revista de Educación, 359, 530-553.

Araya, C., Taut, S., Santelices, V. & Manzi, J. (2011). Validez consecuencial del programa de asignación de excelencia pedagógica en Chile [Consequential Validity of the Certification of Teaching Excellence Program in Chile]. Revista Estudios Pedagógicos, 37(2), 25-42.

Taut, S., Santelices, V., Araya, C. & Manzi, J. (2011). Perceived effects and uses of the national teacher evaluation system in Chilean elementary schools [Efectos percibidos y usos del sistema nacional de evaluación de profesores en escuelas primarias Chilenas]. Studies in Educational Evaluation, 37, 218-229.http://dx.doi.org/10.1016/j.stueduc.2011.08.002

Taut, S., Santelices, V., Araya, C. & Manzi, J. (2011, April). Effects And Uses Of A National Teacher Performance Assessment At School Level [Efectos y usos de una Evaluación Nacional de Desempeño Docente a nivel escuela]. Paper presented at the Annual Meeting of the American Educational Research Association, New Orleans, USA.

Cortés, F., Taut, S., Santelices, V. & Lagos, M.J. (2011, January). Formación continua en profesores y la experiencia de los Planes de Superación Profesional (PSP) en Chile: Fortalezas y debilidades a la luz de la evidence international [Teacher professional development and the experience with the program Planes de Superación Profesional (PSP) in Chile: Strengths and weaknesses in light of the international evidence]. Paper presented at the second meeting of the Sociedad Chilena de Políticas Públicas, January 19, 2011, Santiago, Chile.

Tornero, B. & Taut, S. (2010). A mandatory, high-stakes national teacher evaluation system: Perceptions and attributions of teachers who actively refuse to participate [Un sistema nacional de evaluación docente obligatorio y de altas consecuencias: Percepciones y atribuciones de los profesores que se niegan activamente a participar]. Studies in Educational Evaluation, 36, 132-142.

Taut, S., Santelices, V., Araya, C. & Manzi, J. (2010). The theory underlying a national teacher evaluation program [La teoría que subyace al programa nacional de evaluación docente]. Evaluation and Program Planning, 33, 477-489. http://dx.doi.org/10.1016/j.evalprogplan.2010.01.002

Araya, C., Taut, S., Santelices, V. & Manzi, J. (2010, August). Studying the effects of the certification of teaching excellence program in Chile [Estudio de los efectos de la certificación del programa de excelencia docente en Chile]. Paper presented at the annual meeting of the European Educational Research Association (EERA-ECER), August 25-27, 2010 in Helsinki, Finland.

Taut, S., Santelices, V. & Valencia, E. (2010). Resultado de re-evaluaciones y situación laboral de los docentes evaluados por la Evaluación Docente entre 2003 y 2008 [Results in subsequent evaluations and job situation of teachers evaluated by the national teacher evaluation program between 2003 and 2008]. Documento interno MIDE UC.

Tornero, B., & Taut, S. (2009). Sistema de Evaluación del Desempeño Docente en Chile: Significados y Percepciones de Profesores Rebeldes [The teacher performance evaluation system in Chile: Meanings and perceptions of teachers who actively refuse to participate]. Paper presented at the IX Jornada Internacional de Psicología Educacional, Valparaíso, Chile.

Santelices, V., Taut, S., Araya, C., & Manzi, J. (2009). Consequential Validity of Chile’s Teacher Evaluation System: Consequences at the Municipal (Local) Level [Validez Consecuencial del Sistema de Evaluación Docente en Chile: Consecuencias a nivel municipal (local)]. Paper presented at the Annual Meeting of the American Educational Research Association, April 13-19, 2009, in San Diego, USA.

Santelices, V., Taut, S., & Valencia, E. (2009). Relación entre los resultados de la Evaluación Docente y los Planes de Superación Profesional: Estudio descriptivo. Documento interno MIDE UC.

Taut, S., Santelices, V. & Valencia, E. (2009). Situación laboral y desempeño en evaluaciones posteriores de los docentes calificados como “insatisfactorio“ en el Sistema Nacional de Evaluación de Desempeño Docente [Job situation and performance on subsequent evaluations of teachers categorized as “unsatisfactory” by the national teacher evaluation program]. Documento interno MIDE UC.

Taut, S., Santelices, V. & Thibaut, P. (2008). Explicating Expected Consequences and Underlying Assumptions of a National Teacher Evaluation System[Explicación de las consecuencias esperadas y los supuestos subyacentes de un Sistema Nacional de Evaluación Docente]. Paper presented at the Annual Meeting of the American Evaluation Association, November 5-8, 2008, in Denver, USA.

Estudio longitudinal de creencias, valores y actitudes en estudiantes de la Universidad Católica (2007- 2013)

Esta investigación, liderada por académicos de la Escuela de Psicología y de la Facultad de Teología de la UC, tiene el propósito central de analizar a lo largo de todo el proceso de formación universitaria los principales sistemas de creencias religiosas, sociales y políticas; valores, aspiraciones, intereses y expectativas de los estudiantes de todas las carreras de la universidad en dos generaciones. Al ser un estudio panel con cuatro puntos de medición (mide los mismos participantes a lo largo del tiempo), será posible identificar y modelar procesos de cambio y estabilidad de los aspectos evaluados, así como los factores que explican dichos procesos. Las mediciones se llevarán a cabo al inicio del primer, tercer, y quinto año así como un año después de haber egresado

www.mideuc.cl/estudiojovenes/

Estudio Crimen, Justicia y Castigo (2010)

El estudio Crimen, Justicia y Castigo explora las experiencias individuales con el crimen y el sistema de justicia criminal en la sociedad chilena a través de una encuesta de opinión pública realizada en 2010. La encuesta se aplicó en Santiago y Concepción a 738 personas: 497 en el gran Santiago y 241 en el gran Concepción.

Esta investigación es conducida por la Pontificia Universidad Católica de Chile, a través de Mide UC, en colaboración con la London School of Economics. Es un proyecto asociado al estudio Eurojustis (www.eurojustis.eu).

Las preguntas centrales del estudio son: ¿Cómo se percibe la delincuencia? ¿Por qué y en qué situaciones las personas apoyan el castigo a los delincuentes? ¿En qué medida las personas confían en el sistema de judicial?

Radiografía de la Solidaridad en Chile e Índice de Solidaridad (2009 a la fecha)

Esta investigación apunta a describir y explicar las actitudes solidarias de los chilenos, tanto en donaciones de dinero como en conductas concretas de ayuda a otros. El estudio, desarrollado por Mide UC en colaboración con el Hogar de Cristo, comenzó el año 2009 y se replicará durante el año 2010,  para realizar comparaciones en el tiempo.

El énfasis del primer estudio (2009) fue el desarrollo de un Indice de Solidaridad, el cual permite poner una nota general a las actitudes solidarias de los chilenos. La investigación permitió construir el primer indicador de este tipo en nuestro país y Latinoamérica, y da cuenta de que las conductas de ayuda se manifiestan de diversas formas y con distinta frecuencia según factores como sexo, edad y nivel socioeconómico (NSE).

Desarrollo de pruebas estandarizadas y de una metodología de valor agregado para evaluar el progreso de los aprendizaje en matemática y lenguaje de estudiantes de segundo ciclo de enseñanza básica (5º a 8º) (2008 – 2009)

Este proyecto corresponde a una investigación financiada por el Fondo de Desarrollo e Innovación (INNOVA) del Gobierno de Chile. Consiste en el desarrollo de pruebas estandarizadas y de una metodología de valor agregado para evaluar el progreso de los aprendizajes en matemática y lenguaje de estudiantes de segundo ciclo de enseñanza básica (5º a 8º) en establecimientos municipales y subvencionados en todo Chile.

Publicaciones asociadas:

Hein, A. & Taut, S. (2010). El uso de información evaluativa externa con fines formativos en establecimientos educacionales chilenos [The use of formative evaluative information in Chilean schools]. Revista Iberoamericana de Evaluación Educativa, 3(2), 160-181. http://rinace.net/riee/numeros/vol3-num2/art9.html

La Calidad de la Educación en Chile a partir del Análisis de Mediciones Educacionales (2007)

El estudio corresponde a una investigación financiada por el Banco Interamericano del Desarrollo (BID), mediante el cual se analizarán datos provenientes de mediciones educacionales nacionales (SIMCE y Evaluación Docente), así como internacionales (PISA y SIALS) para analizar los factores que inciden en la calidad de los logros educacionales que se evalúan mediante las pruebas indicadas. El estudio produjo un informe para Chile, que fue divulgado mediante un seminario internacional realizado en enero de 2010. Este proyecto es resultado de una convocatoria del BID para producir informes análogos en diversos países de América Latina.

Estudios sobre incorporación de índices de Valor Agregado a SIMCE (2007)

Durante el año 2007, MIDE UC realiza un estudio destinado a analizar la Incorporación de Índices de Valor Agregado a Informes SIMCE (Unidad SIMCE, Ministerio de Educación). Esta iniciativa forma parte de un proyecto piloto que incluye el levantamiento de datos, desarrollo de modelos estadísticos y construcción de índices de valor agregado. Asimismo, la investigación incluye la adaptación de los informes de resultados proporcionados por el SIMCE a los padres y apoderados y a los establecimientos educacionales en consistencia con el uso de un enfoque de Valor Agregado, el desarrollo de un diseño gráfico para su comunicación eficaz y la evaluación en terreno de la comprensión de estos indicadores por los grupos objetivos.

Publicaciones asociadas:

Taut, S. & Santelices, V. (2009). Comprehension and use of value-added school performance indicators reported to teachers and parents [Comprensión y uso de indicadores de valor agregado en escuelas reportado a profesores y apoderados]. Paper presented at the annual meeting of the European Educational Research Association (EERA-ECER), September 27-30, 2009 in Viena, Austria.

González, J., San Martín, E., Manzi, J. & Del Pino (2009, July). Value-added modeling of school performance under large school variability and high selectivity [Modelamiento del valor agregado en rendimiento escolar bajo gran variabilidad y alta selectividad]. Paper presented at The 16th International Meeting of the Psychometric Society, 20th to 24th of July 2009, in St John’s College, Cambridge, England.

González, J., San Martín, E. (2010, August). Mixed Modeling Approach to Value-Added Analysis: features, Problems, and Recent Developments in the Chilean Case [Enfoque de modelamiento mixto del análisis de valor agregado: Características, problemas y  desarrollos recientes en el caso chileno]. Paper presented to the Second meeting of EARLI SIG 18; Educational Effectiveness: Models, Methods and Applications, August 25-27, 2010, in Leuven, Belgium.

Evaluación de acceso, comprensión y uso de los productos comunicacionales del SIMCE (2006)

En el año 2006, MIDE UC llevó a cabo un estudio de evaluación de los productos comunicacionales del Sistema de Medición de la Calidad de la Educación, SIMCE, dependiente de la Unidad de Currículum y Evaluación del Ministerio de Educación.

En este estudio se evaluó la claridad y el uso de distintos productos comunicacionales de este sistema de evaluación, particularmente los informes de resultados entregados a padres y apoderados, y a los establecimientos educacionales. En base de los resultados de la evaluación se desarrollaron nuevas propuestas para la entrega de la información a padres y escuelas.

Publicaciones asociadas:

Taut, S., Cortés, F., Sebastian, C. & Preiss, D. (2009). Evaluating school and parent reports of the national student achievement testing system (SIMCE) in Chile: Access, comprehension, and use [Evaluación de  reportes a nivel escuela y a nivel padres del sistema nacional de evaluación de resultados de aprendizaje (SIMCE) en Chile: Acceso, comprensión y uso]. Evaluation and Program Planning, 32, 129-137.