Metode de analiză a funcționării diferențiale a itemului

  • Număr de studenți: 1
  • Profesor: Cristian Opariuc-Dan
  • Lansat: 2018-12-27 20:08:15
  • Nivel: Avansat
  • Durata:
  • Preț: € 11.89
Certificat:

Trebuie parcurse toate lecțiile

Cuprins

Vizualizat
Nivel
Tema 1 - Validitatea măsurării și funcționarea diferențială a itemului
Tema 4: Metode clasice de analiză DIF - Metoda standardizată și metoda Mantel-Haenszel
Tema 5: Metode clasice de analiză DIF - Metoda Breslow-Day și regresia logistică
Tema 6: Metode IRT de analiză DIF. Testul raportului de probabilitate
Tema 7: Metode IRT de analiză DIF. Testul Lord și metoda ariei Raju
Tema 8: Efectul DIF în cazul itemilor politomici. Regresia logistică ordinală
Tema 9: Metode hibride. Testul Lord pentru itemi politomici
Tema 10: Analiza stabilității efectului prin utilizarea eșantioanelor simulate

Descriere

Un instrument de testare psihologică sau educațională trebuie să fie astfel construit încât să estimeze cât mai precis constructul măsurat, fiind insensibil la variabilele externe care ar putea afecta această estimare. Felul în care diferitele variabilele externe afectează răspunsul la itemii testului poartă numele de „test bias”, reducerea acestor influențe reprezentând o preocupare majoră a cercetărilor care vizează asigurarea validității. O categorie de tehnici psihometrice relativ recente, care-și propun să identifice acei itemi dintr-un instrument care funcționează diferit la un anumit grup de subiecți, poartă numele de tehnici de analiză a funcționării diferențiale a itemului (DIF – Differential Item Functioning).

Scopul acestui curs este de prezenta, într-o manieră non-tehnică, bazele, cadrul conceptual al tehnicilor de analiză a funcționării diferențiale a itemului, dar și de a expune principalele familii de tehnici utilizate. Vom avea în vedere discutarea metodelor bazate pe regresia logistică, a celor ce utilizează modele de răspuns la item sau modele Rasch, a metodei Mantel-Haenszel sau a metodelor standardizate de detecție DIF.

Vom discuta apoi avantajele și dezavantajele fiecărei metode, condițiile de aplicare, principalele pachete prin intermediul cărora pot fi efectuate astfel de analize și vom ilustra o serie de aplicații pentru itemi dihotomici și politomici utilizând R.

Cursul se adresează studențilormasteranzilor și doctoranzilor din domeniile socio-umaneconomic și medical, dar și specialiștilor care, prin natura profesiei, construiesc instrumente de măsură a fenomenelor sociale și economice, fiind structurat în 10 teme cu un pronunțat caracter practic, aplicațiile realizându-se în limbajul R, prin urmare sunt necesare deprinderi de bază în lucrul cu limbajul R și RStudio.

Fiecare temă se încheie cu un scurt test de verificare a cunoștințelor, iar dacă tema are un caracter aplicativ, veți fi invitat să rezolvați și o problemă practică. În cadrul ultimei teme veți parcurge un test de evaluare a cunoștințelor generale și veți avea de rezolvat o situație concretă de cercetare, finalizând cursul și dobândind competențele necesare


TheoreticalClassicalIRTMethodPolitomic

Preț

Numele planului Preț
1 Year: € 11.89

Profesor

Cristian Opariuc-Dan

Absolvent al celei de-a doua promoții de psihologi de după 1989 (1991-1996) din cadrul Universității „Alexandru Ioan Cuza” Iași, a lucrat ca ofițer specialist în cadrul Ministerului de Interne în perioada 1997-2001, apoi în cercetare, la Facultatea de Psihologie și Științe ale Educației, Universitatea „Al. I Cuza” din Iași în perioada 2001 - 2005. Din 2006 se mută în Constanța și activează drept cadrul didactic la Universitatea „Andrei Șaguna”, apoi, din 2007 până în prezent, la Facultatea de Drept și Științe Administrative, din cadrul Universității „Ovidius” din Constanța. În 2013 obține titlul de doctor în psihologie la Universitatea „Alexandru Ioan Cuza” din Iași cu o teză de psihometrie intitulată „Modele de răspuns la item în evaluarea psihologică”. Este pasionat de metodologia cercetării, statistică, analiza datelor, psihometrie și construcția instrumentelor de evaluare, precum și de programarea computerelor și predă cursuri de analiză de date, metode de cercetare, logică și raționament. Colaborează cu mai multe jurnale de specialitate, precum și cu școala doctorală din cadrul Facultății de Psihologie și Științe ale Educației, Universitatea București, unde desfășoară activități privind analizele avansate de date, în special cele ce implică ecuații de structură și proceduri de analiză psihometrică. Desfășoară, de asemenea, activități de consultanță în domeniul resurselor umane și de analiză și optimizare organizațională, precum și activități privind analiza, specificarea și descrierea posturilor și adecvarea personalului la specificul postului. Ca pasiuni, practică artele marțiale chinezești și îi plac filmele SF, cele de fantezie, istorice și de acțiune.

Cursuri ale acestui profesor

Cunoștințe prealabile

Altele:

Aplicații de analiză a datelor

Cărți:

  1. Agresti, A. (2002). Categorical data analysis (ed. 2nd). New York: Wiley-Interscience.
  2. Aguerri, M. E., Galibert, M. S., Attorresi, H. F., & Marañón, P. P. (2009). Erroneous detection of nonuniform DIF using the Breslow-Day test in a short test. Quality and Quantity, 43, 35-44.
  3. Angoff, W. H., & Ford, S. F. (1973). Item-Race Interaction on a Test of Scholastic Aptitude. Journal of Educational Measurement, 10(2), 95-106.
  4. Bachman, L. F. (1990). Fundamental Considerations in Language Testing. Oxford: Oxford University Press.
  5. Breslow, N. E., & Day, N. E. (1980). Statistical Methods in Cancer Research. Volume 1 - The Analysis of Case-Control Studies. Lyon: International Agency for Research on Cancer.
  6. Choi, S. W., Gibbons, L. E., & Crane, P. K. (2011). lordif: An R Package for Detecting Differential Item Functioning Using Iterative Hybrid Ordinal Logistic Regression/Item Response Theory and Monte Carlo Simulations. Journal of Statistical Software, 39(8), 1-30.
  7. Choi, S. W., Gibbons, L. E., & Crane, P. K. (2016, 03 03). Package ‘lordif’: Logistic Ordinal Regression Differential Item Functioning using IRT. Preluat de pe https://cran.r-project.org/web/packages/lordif/lordif.pdf
  8. Clauser, B. E., & Mazor, K. M. (1998). Using statistical procedures to identify differentially functioning test items. Educational Measurements: Issues and Practice, 17(1), 31-44.
  9. Crane, P. K., Gibbons, L. E., Jolley, L., & van Belle, G. (2006). Differential Item Functioning Analysis With Ordinal Logistic Regression Techniques: DIFdetect and difwithpar. Medical Care, 44(11), 115-123.
  10. Dorans, N. J., Schmitt, A. P., & Bleistein, C. A. (1992). The Standardization Approach to Assessing Comprehensive Differential Item Functioning. Journal of Educational Measurement, 29(4), 309-319.
  11. Dornas, N. J., & Kulik, E. (1986). Demonstrating the Utility of the Standardization Approach to Assessing Unexpected Differential Item Performance on the Scholastic Aptitude Test. Journal of Educational Measurement, 355–368.
  12. Holland, P. W., & Thayer, D. T. (1988). Differential Item Performance and the Mantel-Haenszel Procedure. În P. W. Holland, & H. I. Braun, Test validity (pg. 129-145). Hillsdale: Erlbaum.
  13. Item Discrimination, Guessing and Carelessness Asymptotes: Estimating IRT Parameters with Rasch. (2017, 10 11). Preluat de pe Institute for Objective Measurement, Inc: https://www.rasch.org/rmt/rmt181b.htm
  14. Jodoin, M. G., & Gierl, M. J. (2001). Evaluating Type I Error and Power Rates Using an Effect Size Measure With the Logistic Regression Procedure for DIF Detection. Applied Measurement in Education, 14(4), 329-349.
  15. Karami, H. (2012). An Introduction to Differential Item Functioning. The International Journal of Educational and Psychological Assessment, 11(2), 59-76.
  16. Lord, F. M. (1980). Applications of Item Response Theory to Practical Testing Problems. New York: Routledge.
  17. Magis, D., & De Boeck, P. (2012). Robust Outlier Approach to Prevent Type I Error Inflation in DIF. Educational and Psychological Measurement, 72(2), 291-311.
  18. Magis, D., & Facon, B. (2014). deltaPlotR: An R Package for Differential Item Functioning Analysis with Angoff's Delta Plot. Journal of Statistical Software, 59(1), 1-19.
  19. Magis, D., & Facon, B. (2015, 02 19). Package „deltaPlotR”: Identification of dichotomous differential item functioning (DIF) using Angoff's Delta Plot method. Preluat de pe https://cran.r-project.org/web/packages/deltaPlotR/deltaPlotR.pdf
  20. Magis, D., Beland, S., & Raiche, G. (2016, 11 22). Package „difR”: Collection of Methods to Detect Dichotomous Differential Item Functioning (DIF). Preluat de pe https://cran.r-project.org/web/packages/difR/difR.pdf
  21. Magis, D., Beland, S., Tuerlinckx, F., & De Boeck, P. (2010). A general framework and an R package for the detection of dichotomous differential item functioning. Behavior Research Methods, 42(3), 847-862.
  22. Mantel, N., & Haenszel, W. (1959). Statistical aspects of the analysis of data from retrospective studies of disease. Journal of the National Cancer Institute, 22(4), 719-748.
  23. McKelvey, R. D., & Zavoina, W. (1975). A statistical model for the analysis of ordinal level dependent variables. The Journal of Mathematical Sociology, 4(1), 103-120.
  24. McNamara, T., Roever, C., & Young, R. F. (2007). Language Testing: The Social Dimension. Oxford: Blackwell Publishing.
  25. Miller, T. R., & Spray, J. A. (1993). Logistic Discriminant Function Analysis for DIF Identification of Polytomously Scored Items. Journal of Educational Measurement, 30(2), 107-122.
  26. Nagelkerke, N. J. (1991). A note on a general definition of the coefficient of determination. Biometrika, 78(3), 691-692.
  27. Penfield, R. D. (2003). Applying the Breslow-Day Test of Trend in Odds Ratio Heterogeneity to the Analysis of Nonuniform DIF. Alberta Journal of Educational Research, 29(3), 231-243.
  28. Raju, N. S. (1990). Determining the Significance of Estimated Signed and Unsigned Areas Between Two Item Response Functions. Applied Psychological Measurement, 14(2), 197-207.
  29. Robin, F., Sireci, S. C., & Hambleton, R. K. (2003). Evaluating the Equivalence of Different Language Versions of a Credentialing Exam. International Journal of Testing, 3(1), 1-20.
  30. Somes, G. W. (1986). The Generalized Mantel-Haenszel Statistic. The American Statistician, 40(2), 106-108.
  31. Swaminathan, H., & Rogers, J. H. (1990). Detecting Differential Item Functioning Using Logistic Regression Procedures. Journal of Educational Measurement, 27(4), 361-370.
  32. Thissen, D., Steinberg, L., & Wainer, H. (1988). Use of Item Response Theory in the Study of Group Differences in Trace Lines. În H. Wainer, & H. I. Braun, Test Validity (pg. 147-169). Hillsdale, New Jersey: Lawrence Erlbaum Associates.
  33. Thomas, R. D., & Zumbo, B. D. (1998). Variable importance in logistic regression based on partitioning an R-squared measure. Psychometric Society Meetings. Urbana, Ilinois.
  34. Wang, W.-C., & Yeh, Y.-L. (2003). Effects of Anchor Item Methods on Differential Item Functioning Detection with the Likelihood Ratio Test. Applied Psychological Measurement, 27(6), 479-498.
  35. Wikipedia. (2017, 09 25). Differential item functioning. Preluat de pe Wikipedia: https://en.wikipedia.org/wiki/Differential_item_functioning
  36. Zenisky, A. L., Robin, F., & Hambleton, R. K. (2017, 10 3). Differential Item Functioning Analyses with STDIF: User’s Guide. Preluat de pe University of Massachusetts Amherst: http://www.umass.edu/remp/software/STDIF/STDIFUserGuide_6-15-09.pdf
  37. Zimowski, M., Muraki, E., Mislevy, R., & Bock, D. (1996). BILOG-MG: Multiple-Group IRT Analysis and Test Maintenance for Binary Items. Chicago: Scientintific Software International.
  38. Zumbo, B. D. (1999). A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-Type (Ordinal) Item Scores. Ottawa, Ontario: Directorate of Human Resources Research and Evaluation, Department of National Defense.
  39. Zumbo, B. D., & Hubley, A. M. (1998). A note on misconceptions concerning prospective and retrospective power. Journal of the Royal Statistical Society: Series D, 47(2), 385-388.

Un instrument de testare psihologică sau educațională trebuie să fie astfel construit încât să estimeze cât mai precis constructul măsurat, fiind insensibil la variabilele externe care ar putea afecta această estimare. Felul în care diferitele variabilele externe afectează răspunsul la itemii testului poartă numele de „test bias”, reducerea acestor influențe reprezentând o preocupare majoră a cercetărilor care vizează asigurarea validității. O categorie de tehnici psihometrice relativ recente, care-și propun să identifice acei itemi dintr-un instrument care funcționează diferit la un anumit grup de subiecți, poartă numele de tehnici de analiză a funcționării diferențiale a itemului (DIF – Differential Item Functioning).

Scopul acestui curs este de prezenta, într-o manieră non-tehnică, bazele, cadrul conceptual al tehnicilor de analiză a funcționării diferențiale a itemului, dar și de a expune principalele familii de tehnici utilizate. Vom avea în vedere discutarea metodelor bazate pe regresia logistică, a celor ce utilizează modele de răspuns la item sau modele Rasch, a metodei Mantel-Haenszel sau a metodelor standardizate de detecție DIF.

Vom discuta apoi avantajele și dezavantajele fiecărei metode, condițiile de aplicare, principalele pachete prin intermediul cărora pot fi efectuate astfel de analize și vom ilustra o serie de aplicații pentru itemi dihotomici și politomici utilizând R.

Cursul se adresează studențilormasteranzilor și doctoranzilor din domeniile socio-umaneconomic și medical, dar și specialiștilor care, prin natura profesiei, construiesc instrumente de măsură a fenomenelor sociale și economice, fiind structurat în 10 teme cu un pronunțat caracter practic, aplicațiile realizându-se în limbajul R, prin urmare sunt necesare deprinderi de bază în lucrul cu limbajul R și RStudio.

Fiecare temă se încheie cu un scurt test de verificare a cunoștințelor, iar dacă tema are un caracter aplicativ, veți fi invitat să rezolvați și o problemă practică. În cadrul ultimei teme veți parcurge un test de evaluare a cunoștințelor generale și veți avea de rezolvat o situație concretă de cercetare, finalizând cursul și dobândind competențele necesare


TheoreticalClassicalIRTMethodPolitomic