Publication:
Propuesta metodológica para el estudio de la equivalencia entre dos versiones de una prueba: funcionamiento diferencial de versiones utilizando Propensity Score

Loading...
Thumbnail Image
Official URL
Full text at PDC
Publication Date
2017-08-09
Editors
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad Complutense de Madrid
Citations
Google Scholar
Research Projects
Organizational Units
Journal Issue
Abstract
En este trabajo se presenta un estudio comparativo entre dos versiones (papel y online) de una prueba de rendimiento en Comprensión Lectora y el efecto que tienen las dos versiones en la puntuación de cada ítem. Dicha prueba se enmarca dentro de la Evaluación de Diagnóstico de 2010-2011 en la Comunidad de Madrid, para estudiantes de 4º curso de Educación Primaria y 2º curso de Educación Secundaria Obligatoria. Para el estudio comparativo se ha llevado a cabo un análisis descriptivo y psicométrico de cada ítem en ambas versiones, atendiendo a las medias, dispersiones, formas de distribución de las puntuaciones y fiabilidad. También se ha procedido a la validación atendiendo a la Teoría de Respuesta al Ítem y al estudio del supuesto de unidimensionalidad. Además, se han utilizado como medidas de comparación la prueba de igualdad de varianzas, la prueba T (Student), y la prueba Chi cuadrado (Pearson). Igualmente se ha realizado una propuesta metodológica, “Funcionamiento Diferencial de Versiones” (DVF), basada en los estudios del Funcionamiento Diferencial de los Ítems y del Funcionamiento Diferencial de los Sujetos. Esta metodología se caracteriza por la utilización del Puntaje de Propensión o Propensity Score para conseguir un grupo de sujetos homogéneo y poder establecer comparaciones sobre la existencia o no del Funcionamiento Diferencial de Versiones. Para su estudio se han utilizado varios procedimientos, algunos de ellos de carácter descriptivo, como la Transformación del Índice de Dificultad (T.I.D.), Rajú, Lord, Estandarizado-Stand y Mantel–Haenszel, y otros, más potentes, como la Regresión Logística utilizando las puntuaciones TRI de los sujetos. Ante las comparaciones múltiples, para el estudio del DVF y para evitar los falsos positivos, se ajustaron los valores p mediante la corrección de Benjamin–Hochberg (1995). Los resultados confirman la equivalencia entre ambas versiones (papel y online), tanto en Primaria como en Secundaria. Las distribuciones, los niveles de fiabilidad y la estructura factorial presentan valores semejantes. La media tiende a favorecer a la prueba en papel, pero el tamaño del efecto es mínimo, además de la no-existencia de Funcionamiento Diferencial de Versiones (existen ítems con DVF, pero la medida del efecto nos indica que el DVF es irrelevante en todos los ítems). Por todo lo expuesto, concluimos que ambas versiones son equivalentes.
This paper presents a comparative study of two versions (paper and online) of a Reading Comprehension Performance Test and the effect these two versions had on the score of each item. This test was included in the 2010-2011 Diagnostic Evaluation in the Community of Madrid for students in Year 4 of Primary Education and Year 2 of Compulsory Secondary Education. To conduct the comparative study, a descriptive and psychometric analysis of each item in both versions was carried out, considering the means, dispersion, distribution of scores and reliability. Likewise, a validation was conducted following the Item Response Theory and the dimensionality assumption was studied. Furthermore, the comparison measures used were the test for equality of variances, Student's t-test as well as Pearson’s chi-squared test. Similarly, a “Differential Version Functioning” (DVF) method was conducted using Differential Item Functioning and Differential Subject Functioning. This method is characterised by the use of a Propensity Score to obtain a homogenous group of subjects and be able to establish comparisons on the existence, or not, of Differential Version Functioning. The study employed several procedures, some of them descriptive, including: Difficulty Index Transformation (DIT), Rajú, Lord, Standardised-Stand, Mantel–Haenszel, in addition to the more powerful Logistic Regression using the subjects' IRT scores. For the DVF study and to avoid false positives due to multiple comparisons, the p values were adjusted with the Benjamin–Hochberg procedure (1995). The results confirm the equivalence between the two versions (paper and online) both in Primary and in Secondary Education. Distribution, reliability levels and factor structure were very similar. The mean tends to favour the paper test, but the effect size is minimal. In addition, there was no Differential Version Functioning (there were items with some DVF, but the size of the effect showed that DVF was irrelevant in all items). Therefore, we can conclude that both versions are equal.
Description
Tesis inédita de la Universidad Complutense de Madrid, Facultad de Educación, Departamento de Métodos de Investigación y Diagnóstico en Educación, leída el 27/06/2016
Unesco subjects
Keywords
Citation
Collections