Validació estadística en exàmens tipus test

DIPLOMATURA D 'ESTADíSTICA VALI~ACIÓ EST~íSllCA EN ExÁMENS llPUS TEST FACULTAT DE MATEMATIQUES I ESTADíSTICA UN IVERSITAT POLlTECNÚ DE CATALUNYA Biblioteca ¡¡ IIIII 11I 11 \\\1\ 11\1\ \\\11 1\111 I\m 11\\1 1I11I IIIIII!I 11\\ 1400313863 r r ~.' V\JVV\.,'\./VvLV Vi I , I ¡ l ;? . ./ /. ~VV¡ ,:.', , ' VAL'ACIÓ ESTAPísnCA EN EXAMENs TPUS TEST Cristina Hurtado de Mendoza Rodríguez Laura Ruiz Mitjavila Directors: Antoni Ras Sabidó Jorge Villar Santos Barcelona, abril de 2000 ÍNDEX 1. INTRODUCCIÓ l.1 Introducció al problema de l'avaluació d'examens tipus test.. ..... ...... ... ........... ....... 1 l.2 Correcció automatica d'examens tipus test a la UPC........ ...... ... ... .......... .... ........... 2 1.2.1 Gnlfics..................................................................................... 2 1.2.2 Dades estadístiques de cada pregunta....... ... . . . ....... ...... . .... .. .... . ......... .. 2 1.3 S.LA.V................................................................................................ 4 1.4 Objectius del P.F.C........ ........ .......................................................... ........ 7 1.5 Esquema de treball. ... . .. . . .. .. .. .. ... ... . .. . .. .. . .. . .. ... ... . ... .. . .. . .. . .. .. .. .. . . .... . .. .... .. . ... 8 2. MODEL TEORIC 2.1 Models classics........ . .... . .. . ......... .. ... .. .. .... ........ .... . . .. .. ............ .... . . .... ........ 9 2.1.1 Elecció de nota. .......... . .. . .... . .. . ..... ... . .. ... . .. ... . .. . ........ ... . .. . . . . ... ....... 9 2.2 Model altematiu...................................................................................... 10 2.2.1 Probabilitat d'encertar la resposta correcta d'una pregunta en funció del nivell de coneixements de l'alumne i de certes característiques de la pregunta.. ....... 10 2.2.2 Model proposat. .................... , ... ............ ... . ..... . ...... ...... .. . .. . .. ........ 11 2.2.3 Obtenció deIs pan\metres del model............................. .... .... .............. 15 2.2.3.1 Elecció de classes ............................................................ 15 2.2.3.2 Calcul de la probabilitat d'encertar una pregunta ..... ... ..... ........... 15 2.2.4 Model de maxima versemblanva per qualificació segons respostes obtingudes 16 2.2.4.1 Estimadors maxim versemblants...... .. ....................... .. .......... 16 2.2.4.2 Propietats deIs estimadors maxim versemblants......................... 17 2.2.4.3 Deducció teórica... ... ................. ................. .... ... ........... .... 18 2.2.4.4 O\lculs (metodes numerics, ... ) .............................................. 20 2.2.5 Preguntes que no s'ajusten al model.. ........................ ........ ............. .... 23 3. APLICACIONS I COMPARATIVA DEL MODEL 3.1 Aplicació del model.................................................................................. 25 3.1.1 Correcció d'un examen................. ............ ..... ... ................... .......... 25 3.1.2 Avaluació del coneixement d'un estudiant a partir d'una base de dades de qüestions. ......... ............ ... .... ...... ... ...... ......... ... ... .... ... ........ ... ...... 27 3.2 Comparació amb altres models.............. ................................................... 30 3.2.1 Introducció ................................................................................. 30 3.2.2 Influencia del nivell de l'examen en la nota. . . . . . . . . . .. . . .. . .. . .. . .. . . . . .. . .. . .. .. . . . 30 3.2.3 Detecció d'estudiants atípics..................................................... ... ..... 31 4. SIMULACIONS 4.1 Cas concreto ... ...... . .. . ... . . .............. ... . . . .. ... ... .......... .... .. .... ......... ... . .. .......... 32 4.2 Implementació del model en un cas concret ..................................................... 39 4.2.1 Agrupació de les notes per c1asses. .... ..... . . .... ... ......... ... . .. .... ............. .. 39 4.2.2 Transformació de les dades..... ....... ...................... .. ..... ................... . 50 4.2.3 Calcul de la probabilitat d'encert de cada pregunta............ ................. ..... 52 4.3 Comparació amb models classics i conc1usions............. ... . .. . ......... ... .................. 61 4.4 Implementació de subexamens.. .. . .. . . . ..... .............. .. . ................. . ..... ............ . . 66 4.5 Comparació amb metode de puntuació c1assics i conclusions.... .... ... ............... .... . . . 67 4.6 Imp1ementació de respostes atípiques i conc1usions........... .. . .. ... . ......................... 72 4.6.1 Breu descriptiva de les dades.. .. . ..... .................. .... . ....... ....... ... . ... ..... 72 4.6.2 Nota maxim versemb1ant per a les dades.......... ... . ......... ...... .... ............. 73 4.6.3 Funció de maxima versemblanya ...................................................... 74 4.7 Comparació amb models classics .................................................................. 75 5. CONCLUSIONS 1 TEMES DE FUTUR 5.1 Conclusions................................... .......................... .............................. 78 5.2 Possibles temes de treball futur.................... ............................................ .... 80 6. BIBLIOGRAFIA ................................................... ........................................... 81 7.ANNEXES 7.1 Macros de Minitab .................................................................................... 82 7.1.1 dific.mac ................................................................................... 82 7.1.2 discrim.mac................................................................. .............. 83 7.1.3 classes.mac ................................................................... '....... ...... 84 7.1.4 transform.mac ............................................................................. 85 7.1.5 canvi.mac .................................................................................. 86 7.1.6 cole.mac........ ... ... ...... ......... . ... .......... ............... . . . ... . ........... ... . .... 86 7.2 Programes de Maple. . .. . ... ... ..... . ..... ... .. .. . ............... .. .. .............. . ... . . . ... ........ 87 7.2.1 notamv.mws.............................................................. ................ 87 7.2.2 funciomv.mws............................................................................ 88 l. Introducció 1. INTRODUCCIÓ 1.1. INTRODUCCIÓ AL PROBLEMA DE L'AVALUACIÓ D'EXÁMENS TIPUS TEST El sistema d'avaluació a partir d'examens tipus test pot presentar certes dificultats a l'hora d'escollir la manera més justa de puntuar. Així, per exemple, cal tenir en compte que si es valoren igual totes les preguntes independentment de la seva dificultat, s'esta cometent una 'petita injustícia' vers aquells alumnes que contesten bé les preguntes més dificils. D'altra banda, per un professor pot resultar realment complicat arribar a establir els pesos que mesurin el grau de dificultat que una pregunta determinada pot representar pels alumnes. Així mateix, resulta molt dificil saber si una pregunta s'ha formulat de manera prou clara o si no s'ha entes prou bé. Una altra dificultat es pot presentar a l'hora d'avaluar equitativament els diferents grups amb examens diferents. la que, si els examens són de diferents dificultats, dos alumnes amb un nívell similar de coneixements poden treure notes que no ho reflecteixin. És per aixo, que cal arribar a un sistema de puntuació que tingui en compte la dificultat de les preguntes i ho reflecteixi a la nota final sense que el professor hagi de ser el 'responsable' d'establir uns pesos. L Introducció 1.2 CORRECCIÓ AUTOMÁTICA D'EXÁMENS TIPUS TEST A LA UPC La correcció deis examen s tipus test a la UPC es fa de forma automatica amb l'ajuda d'un programa informatic. Aquest programa també ens permet, a partir de les respostes de tots els alumnes, fer grafiques, elaborar diferents llistats: de les notes (ordenat per nom, DNI, notes, ... ), de les respostes per alumnes,... i obtenir dades rellevants de les preguntes, com ara el grau de discriminació, la dificultat, la claredat, la significació o el nombre d'alumnes que contesten cadascuna de les possibles opcions, separats segons si es troben entre eI 50% que tenen les millors notes o entre el 50% que en tenen les pitjors. A continuació, s'expliquen amb més detall els diferents tipus de grafics que es poden obtenir i com es calcula cadascun deis díferents parametres d'una pregunta que ens proporciona el programa. 1.2.1 Grafics • Histograma: Aquesta opció ens presenta l'histograma de la distribució de les notes de l'examen en pantalla. Es presenten també les notes que no assoleixen un percentatge d'alumnes determinat (que deixen per sota el 10% deIs alumnes, eI 20%,30%, ... ) • Stem and leaf 1.2.2 Dades estadístiques de cada pregunta Una vegada indicat eI numero de la pregunta, ens surt per pantalla la següent informació: percentatge d'alumnes que han respost cadascuna de les opcions, separant el 50% que ha obtingut les millors notes en la prova i el 50% que n'ha obtingut les pitjors, segons la nota obtinguda en la prova sense tenir en compte la pregunta analitzada. A més, realitza una amUisi global de la pregunta, mostrant les següents mesures: • Discriminació: Mesura el grau en que una pregunta serveix per discriminar entre alumnes 'bons' i 'dolents'. Es calcula a partir de la següent divisió: Contesten correctament A B No contesten correctament C D 50% inferior 50% superior Disc= (B*C)-(A *D) (B*C)+(A *D) 2 1. Introducció Aquesta mesura es coneguda amb el nom de Q de Yule, i pot variar entre -1 (si els 'dolents' contestessin be i els 'bons' malament) i 1 (al contrari). El valor O indica que no discrimina. • Significació: El nivell de significació de la discriminació es calcula dividint el valor obtingut per la seva desviació tipus. Com mes gran sigui, mes gran sera la seguretat que discrimina. O" Disc = 1 . 21111 -(1-DISC) (-+-+-+-) 4 A BCD • Claredat: Intenta mesurar si l'enunciat de la pregunta es cIar o no. El seu rang de variació anira de O (deIs 'millors' no contesta cap) fins a 1 (contesten tots els 'millors'). 1 _ Alumnes _ det quart_ quartil_ que _deixen _la yregunta _en _blanc Nombre d'alumnes 4 • Dificultat: Si la suma de punts acumulats en la pregunta es no negativa aquest índex osciHanl entre O (dificultat mínima) i 1 (dificultat maxima). 1_ Suma_de ---'p unts_acumulats _en_la yregunta Nombre d' alurnnes 3 1. Introducció 1.3 S.LA V (Sistema Informatic d' Avaluació) Els alumnes de l'Escola Tecnica Superior d'Enginyeria de Telecomunicació de Barcelona disposen d'un programa d'autoavaluació que els permet fer-se una idea del seu nivell de coneixements en les assignatures d' Anillisi Vectorial i d'Equacions Diferencials. Aquest programa fou elaborat per un grup de professors del Departament de Matematica Aplicada i Telematica que va obtenir un ajut economic per part del rectorat de la Universitat que els va permetre fer-ho. Es tracta d'una aplicació que genera examens amb preguntes escollides aleatoriament d'una base de dades amb preguntes que han estat formulades en examens anteriors. Es poden obtenir tant examens globals de l'assignatura com examens que només facin referencia a temes concrets. I, lID cop fínalitzat l'examen, podem saber el nombre de preguntes encertades, fallades i no respostes. A continuació, es mostren algunes pantalles del programa. En la figura 1.1 podem veure la pantalla de presentació del programa. A continuació, tal i com es veu a la figura 1.2, apareix una pantalla en que s'ha d'escollir l'assignatura de la qual es volen testar els coneixements. Figura 1.1 ((( ((( ((( S 1 E\ l S fEV MiniTEX View~r (Veuion U3 ) J.L.VilLo.r (1999) DWAT (tIPO) 4 l . Introducció Figura 1.2 Seleccionar una assignatura: --.J ".l · '\ 1"1.1 Un cop ja s'ha escollit I'assignatura, cal seleccionar el tipus d'examen que es vol fer: lID examen de 24 preguntes global de tota l'assignatura o UD examen de 10 preguntes centrat en lID únic tema, tal com es veu a la figura 1.3. En cas d'escollir lID examen d'lID sol tema, a continua ció s'haura d'escollir el tema concret d 'e ntre tots els que fonnen l'assignatura (figura 14) Figura 1.3 Seleccionar el tipus d'examen: .. 1 ,... '\' ~ --.J 1 ' ,.1 .r l' ~f.' I~ · I ! ..... I 1 , ~l.. 5 2. Model Teoric Figura 2.3 2 4 x ·4 ·2 t -1+ Anem a veure com varia ara la funció afegint un pariunetre de despla~ament B, de manera que la flmClÓ ens queda y=tanh(x-B) A la figura 2.4 estan representades en verd les funcions y=tanh( -2+x), en vennell y=tanh(x) i en blau y=tanh(2+x). Veiem com a mesura qu e augmenta el parametre B la funció es despla~a de esquerra a dreta, tallant l'eix d'abscisses al punt (B, O). Fi g ura 2.4 - -~ J , 0.5 I I , -4 -2 , I " O, 2 x 4 -0.5 - 1+ 12 2. Model Teoric • Veiem que aquesta funció té dues assímptotes, y=-1 i y=1. Per tant , si volem que representi la probabilitat d 'e ncert d'una pregunta , hem de transformar-la per a que es mogui entre el O i l'l Ho aconseguim divldint la nmcló per 2 i sumant-li 1/2, l+th( Ax-B) y= 2 Com veurem més endavant, el parametre A, que ens deterrruna el pendent , está relacionat amb la discnmmació de les preguntes El B, que en s determilla el despla<;:ament de la hmció , esta relaclonat amb la dlficu lt at Amb aquesta t ransformac ió, la funció passa pel punt (BI A, 1/ 2) Aixo vo l dir que un estudlant ha d'haver tr et lma nota mínima de B/A a l' examen per tal que la se va probab il itat d' encertar la pregunta sigUI Igual o superIor al 50 %. 51 , per exemple, tL11guéss1m una pregunta amb els v alo rs A= l 18 1 B=4.65 , (que veiem representada a la figura 25), els estudiants que h agm tret una nota global a l'e xa men de 3 94 una probabilitat maJor d' 112 d'haver encertat ia pr eg unta Figura 2.5 ,I os ( I i 0.4 0 .2 o 2 4 6 8 10 x • És una nmció que es linealitza facdment D esenvolupem la t ransfo rmació de la tan ge nt hiperb6lica que hem vist abans, tenínt en compte que ara ' p' representa la probab ilitat d' encertar la pregunta , i N la nota a l' examen 1+ th(AN - B) p = ---'------- 2 x -x e -e Com que tanh(x) = x -x' tenim que e +e 13 2. Model Teoric AN-B -AN+B e -e 1+ ---:Ac-:-N=---=B=------A-;cN=-=+-B-=- e +e p 2 AN-B -AN+B e AN -B +e-AN+B+eAN-B e -AN+B 2p l+ e -e --------~~~--~~~-------= AN-B -AN+B e AN -B +eAN +B e +e 2e AN -B = --,..----=:-----.,--- eAN-B +eAN +B AN-B e 1 P e AN -B +eAN +B 1+e-2AN+2B p(1 + e -2(AN-B)) 1 e -2(AN-B) =!.....-.!!... p 1 p -2(AN -B) = ln(-) n 2(AN -B) = ln(~) l-p 2AN=ln(~)+2B l-p 1 p B N=-ln(--)+ 2A l-p A Per a simplificar, anomenarem a=l/2 A, i b=B/A. D'aquesta manera, a segueix sent un parametre de 'pendent' i b és la nota mínima per a tenir una probabilitat major del 50% d'encertar la qüestió. 14 2. Model Teóric 2.2.3 Obteneió deis parametres del model 2.2.3.1 Elecció de classes Donat que si la mostra d'alumnes a analitzar és gran les eines d'amHisi grafica exploratória poden resultar poc informatives, és aconsellable agrupar les dades en grups o classes que permetin tenir una informació global del conjunt de dades. Per tal de fer-ho es recorre a formar intervals de classe de la variable, on un interval inclou totes les observacions de la variable el valor de les quals hi esta dins. Per a cada classe, s'escull un representant que anomenem marca de classe, i que pot ser el punt mig de interval, la mitjana deIs valors de cada classe, la mediana, ... Es poden formar intervals de la mateixa amplitud o que continguin el mateix número d'efectius, i el nombre d'ells que s'empren sol osciHar entre 6 i 12. No existeixen criteris fixes per a decidir quants intervals emprar, no obstant existeixen algunes fórmules empíriques que orientativament fixen el número intervals a utilitzar. Per exemple, citem la fórmula d' Sturges: número de classes= 1+ 3.322*log N sent N el número d' observacions. Un altre criteri consisteix en fixar l'amplitud de interval mitjanyant la fórmula: h= J!i calcular a posteriori el número intervals. Un cop decidit el número intervals que es van a utilitzar, una manera de calcular l' amplitud deIs ml.lteixos és divídint el recorregut de la variable pel número intervals o, si hem escollit les classes de manera que totes tinguin el mateix nombre d'individus, l'amplitud de cada interval correspondra al valor mitxim menys el mínim deis individus que el composen. 2.2.3.2 Cillcul de la probabilitat d 'encertar una pregunta Hem vist que la funció de la tangent hiperbólica transformada i linealitzada té la forma: p. N =aJ.ln( J }+b . J 1-Pj on N és la nota de l'estudiant a l'examen i pj la probabilitat d'encert a la pregunta j. Si dividim la mostra en classes segons hem explicat abans, podem prendre com a nota la mitjana de les notes de cada classe i com a probabilitat el nombre de respostes encertades dividit pel total d'alumnes en la classe, per a cada pregunta j. Amb aquestes dades podem fer una regressió lineal per obtenir els valors de aj i de bj. Una vegada tinguem calculats aquests parametres, si alllem pj de l'equació anterior: N-b. p. J ln( J }; a. 1 p. J J " 15 2. Model Teóric N -b j a p. j } e =e N-b· ~ a· 1+e } N-b· ~ a· } 1 N-b. ' -~ a· } 1+e De manera que podem estimar la probabilitat d' encert a cada pregunta j segons la nota final a l'examen. 2.2.4 Model de maxima versemblanfa per qualificació segons res postes obtingudes 2.2.4.1 Estimadors maxim versemblants El metode d'estimació per maxima versemblan93 fou introduit per R.A. Fisher el 1912 i es pot aplicar a la majoria de problemes, té un fort atractiu intuitiu i usualment proporciona 'lua estima ció raonable de (). A més, si la mostra és gran, el metode sol proporcionar un estimador exceHent de (). Per aquestes raons, el metode de maxima versemblan93 és potser el metode d' estimació més amp liament utilitzat en estadística. Metode de maxima versemblan~a Suposem que Xl, ... , Xn variables aleatóries constitueixen una mostra aleatória d'una distribució discreta o continua amb funció de probabilitat o funció de densitat de probabilitat f (x; ()), on () E e (espai parametnc) i pot ser un parametre real o un vector de parametres. Per a qualsevol vector observat x=(xl, ... , xJ de la mostra, el valor de la funció de probabilitat conjunta o funció de densitat de probabilitat conjunta, es denota per fn (x; O) i quan fn (x;O) es considera una funció de ()per a un vector concret x, es denominafimció de versemblam;a. Donat x=(xl, ... , xJ, l'estimador maxim versemblant (EMV) del parametre () E e, el denotem per B = B (x¡" ... ,x n ), i és aquell valor de e que fa maxima fn (x; O) = f (x ¡, ... ,xn ; ()). Cal tenir en compte que en alguns problemes, per a certs vectors observats x, el valor maxim de flx; O) pot no assolir-se per un () E e. En tal cas, no existe ix un E.M.Y. de (). Per a altres vectors observats x, el valor maxim de fn(x; O) es pot assolir en més d'un punt de l'espai e. En tal cas, l'E.M.Y. no esta definit unívocament i es pot escollir qualsevol 16 2. Model Teóric d'aquests punts com al). En mo1ts problemes prnctics, no obstant, existeix l'E.M.V. i esta unívocament definit. Metodología 0.- fn ( x; O) és la funció de probabilitat conjunta o funció de densitat de probabilitat conjunta. n 1.- Assumint que les preguntes són independents, fn(x;O)= IIf(x¡;O) L{O) que és la i=l funció de versemblanya que volem maximitzar. n 2.- Definim 1 (O) = log L(O) = 2)ogf(x¡;&). L (O) i 1 (O) tenen el maxim en el mateix i=l punt pero, sovint, és més comode treballar amb 1 (O). 3.- Calcu1em ~ 1(O) 1'(0). dO 4.- Fem 1'(0) =Oi trobem la solució 0*. 5.- Si cal, calculem d~ 1(O) 10= ()* i si el resultat és menor que 0,0* és l'estimador maxim versemblant de 8. 2.2.4.2 Propietats deIs estimadors maxim versemblants Invariam;a Si en lloc d'expressar la funció de densitat de probabilitat f(x;~ en funció del parametre 8, s'expressa en funció d'un nou parametre -r= g(~, on g és una funció biunívoca de 8. Es defineix fJ= h( zJ com la corresponent funció inversa. Llavors, la f.d.p. de cada valor observat expressada a partir del nou parametre T, senl f1x;h( 1)] i la funció de versemblanya sera fn[x;h( 1)]. L'E.M.V. fsenl igual al valor de t que maximitzi fn[x;h(t)]. Donat que fn(x;~ es maximitza quan fJ= 1), resulta que fn[x;h(t)] es maximitzara quan h(t)=I). Per tant, f ha de satisfer la relació h( f )= 1) o equivalentment, f = g( 1). Aquesta és la propietat d'invarianya deis estimadors maxim versemblants. Si 1) és 1'estimador maxim versemblant de 8, llavors g( 1) és l'estimador maxim versemblant de g( ~. La propietat d'invarianya es pot estendre a funcions d'un vector de parametres 8. Suposem que fJ=( éq, ... , 6{) és un vector de k parametres reals. Si 1:= g( éq , ... , 6{) és una funció real de éq, ... , 6{, llavors t es pot considerar com una component d'una transformació biunívoca del conjunt de parametres éq, ... , 6{ a un nou conjunt de k parametres reals. Per tant, si 1)1, ... ,l)k són els E.M.V. de éq, ... , 6{, de la propietat d'invarianya resulta que l'E.M.V. de t és 17 2. Model Teóric Consistencia Suposem que se selecciona una mostra aleatoria d'una distribució amb panlmetre (J. Per tot valor d'n més gran que un número mínim concret, existeix un E.M.V. únic de (J. Llavors, sota certes condicions que nonnalment es satisfan en problemes pnictics, la successió d'E.M.V és una successió consistent d'estimadors de (J. En altres paraules, en la majoria deIs problemes la successió deIs E.M.V. convergeix en probabilitat al valor desconegut de 8 quan n tendeix a infinít. 2.2.4.3 Deducció teorica A l'aparíat 2.2.3.2 hem vist que podíem calcular la probabilitat d'encertar una pregunta com J a· J+e ] on Pi és la probabilitat d'encertar la pregunta j, N la nota global de l'examen i aj i Bj els parametres de dificultat i discriminacíó que havíem calculat per regressíó per a cada pregunta. Per tal de calcular la nota maxim versemblant, definim la funció Pj (y) 1 p. (y) = ----:;- (*) J a. J l+e que representa la probabilitat d'enceríar la pregunta j si la nota és y. Tot seguit, partint de (*) anem a desenvolupar el model de maxima versemblanya per cada estudiant. Definim la variable X¡ que pot prendre els valors 1 i O: 1 quan s'encería la pregunta) i O en cas contrario D'acord amb el model proposat, la densitat de X¡ és una funció que depen d'un parametre y (nivell de l'alunme) i val: P(X j = 1) = y( 1+e -(Y-bj)!Oj) = Pj(y) P(X j = O) =1 lj(y) Que es pot escriure de manera compacta com: P(X j = k) (PAy)t(lPj(y»)(l-k) , k=O, 1. Considerem ara el vector aleatori associat a totes les preguntes, X =(Xl, , ... ,Xn ), i assumim que les variables implicades són independents. Aleshores, per a un estudiant concret, si e= (e¡, .... ,eJ és el seu vector d'encerts (ej val 1 si la pregunta) es contesta correctament i 18 2. Model Teóric osi es fa incorrectament) tindrem que la funció de versemblan9a per a la nota y d'aquest estudiant s'obtindra com el producte de les densitats de 1esX¡ definídes anteriorment, on ara y, la nota de l'estudiant, és el parametre a estimar i els ej són dades mostrals conegudes: n el' LI'(Y) = rr «Pj(Y)] [l-p/y)II-e j )} j=l on n és el número de preguntes de l' examen. Prenent logaritmes tenim: y-b. -~ a· ] 1 e Donat que Pj (y) = ----:--, tenim que 1 - Pj (y) = ----:-- a· a· l+e ] l+e ] Per tant, les derivades de Pj(y) i (1Pj(y)) són respectivament: a· 1 ] e a· a· ] 1 e ] 1 • p'.(y) = ~(1 Pj (y))Pj (y) ] y-b. y-b. 2 a. a. y-b. ] ] -~ ] ] a· ] a. l+e a. ] ] l+e l+e , • (1 Pj(Y)) = -Pj(Y) ~1. Pj(y;(l Pj(Y)) ] Aleshores, derivant (**), per tal de trobar-ne el maxim arribem a: en (y) = ¿ ...... o ....... ---=-_ j=1 aj 19 2. Model Teóric ne. lj(y) , Per tant, la nota de maxíma versemblanya sera el valor y tal que I J es zero. j=1 aj No cal calcular la segona derivada de Pj (y) ja que la fundó L -;. (y) és no negativa arreu í e tendeix a zero quan y-+ ± 00 (excepte sí e (1, 1, 1, ... 1) o e (O, O, O, ... 0» . ..¿.,ej -lj(y) . b ., f: 1'h d l l .. El ti et que a .L. no aparegUl j I SI aj a que, a ora e ca cu ar notes, tmgum j=l aj més pes les preguntes amb discriminació (no pas díficultat) més alta. 2.2.4.4 <7dlculs 1. Nota maxim versemblant Per tal de calcular la nota de maxíma versemblanya que hem vist en l'apartat anterior, definim la funció F(y):= :t lj(y) rI( -(y-b. )/a .J (on Pj(Y)=j l+e J J ) j=1 aj i calculem, per a cada alumne, quant val n e. E:=I-J j=1 aj A continuació, s 'ha de resoldre numericament la funció F(y)=E, per tal de trobar el valor de y = p-l (E) que la compleix. Tenint en compte el software de que disposem, una possible manera de fer-ho seria utilitzant Maple i Minitab : Pj(Y) 1 • Definim a· J a·* J · l.c ., F() ..¿., Pj(Y) D fi • e Intm a lunCIO Y:=.L.-- j=1 aj 20 1. \1odel Te6ric • Construlm un vector (macro de Minitab 'cole.mac') que anomenem E de tamany n_alurnnes tal que, per a cada alurnne k, n ekj E = Lk j=l aj on ekj = 1 ó O depenent de si I'alurnne k ha contestat bé o malament respectivament la pregunta j, inés el nombre de preguntes. • Per tal de facilitar els calculs amb Maple a I 'hora de resoldre numericament l' equació F(y)=E, aproximem per rectes la funció F(y)= f p/ (y) , dividint en intervals el rang de / =1 a} valors possibles del vector E i calculant les seves imatges, per trobar per a cada interval la recta que I'aproxima. Per a cada interval [a , b] , un cop calculades F(a) i F(b), i prenent y com a eix horitzontal i Z com a eix vertical, la recta ve defmida com y-a zfea) = b-a f(b)- f ea) Per tant, d'aquesta equació podem calcular y = F1(E) coro b-a y = f(b) _ fea) (z - fea)) +a En la figura 2.6 veiem de color negre la funció F(y) i de color vennell la seva aproximació per rectes . Figura 2.6 16 / ---- / , 14 ./ o' 12 j. 10 I I / ¡ 8 6 4 2 /' .h < 2 4 B B 10 12 14 Y 21 3. ApLicacions i comparativa de l model 2. Amb aquest vector E i la funció F(y) =¿ p) (y) que correspon a les preguntes aj que ha respost I'alumne, calculem la seva nota y = F1 (E), ja sigui amb el full de MAPLE 'notamv. mws' que ens dóna la nota segons el model de maxima versemblanya per a I'alumne o bé directament resolent numericament aquesta ., 1 equaclo . 3. Per veure si I'alumne 's'adapta', a més de calcular la FMV per a la nota que ha tret, caldria comparar-lo amb alguna referencia. D'acord amb el que es veu després a 4.6.3., una possibilitat seria comparar-ho amb 'fantasmes bons' i amb 'fantasmes dolents' que obtinguin una nota propera a la de l'alumne que ens interessa (veure també I 'apartat 3.22). Una manera de fer-ho és, amb la nota obtinguda en el pas anterior, executem el full de MAPLE 'fonciomv. mws.' Comja hem vist en el capítol2, la funció de maxima versemblanya corresponent a les preguntes que l'alumne contesta té la següent forma Figura 3.3 6 2 o 2 8 En la figura 3.4 podem comparar el valor de la nota obtinguda per 3 estudiants amb les fites que ens donen els valors de les notes deIs fantasmes bons j dolents (exemple practic, veure també l'apartat 4.6). S'observa com, deIs 3 estudiants marcats amb un punt negre, un d'ells té la nota situada més o menys al centre de la grafica, un altre esta bastant a prop de la fita inferior i I'altre esta gairebé a sobre de la fita superior. Per tant, podriem dir que aquest tercer alurnne s 'adapta mott bé al model i que la nota que se li dóna és molt de fiar. En canvi, el 2n no s'hi adapta gaire i cal mirar detalladament el seu examen per veure'n el perque (p. ex.: nivell diferent en els temes; s'ha cansat i ha comenyat a responille a l'atzar, ha fet trampa, .) És la comand a' f SOL VE' del MAPLE Té ~ l problema que és lenta. pero si bi ba només 1 alumne Ja ~s r:,' t fer senir 3.Aplicacíons í comparativa del model Figura 3.4 > -10 ::;; o .~ LL -20 -.. ·30 4 5 6 10 Nota MV 29 3Aplicacions i comparativa del model 3.2. COMPARACIÓ AMB ALTRES MODELS 3.2.1. Introducció A continuació anem a veure com podem comparar el nostre model amb alguns deIs models classics, per veure com pot afectar a les notes eI fet d'utilitzar-ne un o els altres. Les comparacions es faran basicament amb els models 'sense penalització' i amb 'penalitza l/(n-l)', donat que són els que més es fan servir en la correcció d'examens tipus test. Alguns deIs estudis possibles són: Comprovar la reIació entre les notes en cadascun deIs tres models (maxima versemblanya, amb penalització l/(n-l), sense penalització). Veure quin tipus de canvi presenten entre elles: lineal, aleatori, ... Altres comparacions haurien de servir per veure els avantatges i els inconvenients del nostre model. En aquest sentit n'hem triat dues: veure la influencia del nivell de l'examen en la nota final, i detecció d'estudiants atípics, que explicarem en els apartats següents. Altres comparacions possibles, tot i que nosaltres no les farem, són les de donar pesos a les qüestions en funció de la dificultat ilo discriminació, calculades segons el procediment estandard que s'utilitza a la UPc. 3.2.2. Influencia del nivell de l'examen en la nota En principi, un avantatge teoric del nou model és que té en compte la dificultat de la qüestió a l'hora d'avaluar ( donat que les notes deIs alumnes es calculen fent servir els parametres 'a' i 'b', relacionats respectivament amb la discriminació i la dificultat). Per tant, en certa manera, hauria de permetre calcular el nivell de l'alumne de manera independent del nivell de la prova que ha resolt. Per comprovar fins a quin punt aquesta hipotesi és correcta, es proposa fer una comparació entre examens de diferent dificultat; una manera de fer-ho seria la següent: A partir d'un examen amb prou preguntes, calcular els parametres 'a' i 'b' tal com hem vist a l'apartat 2.2.3, i ordenar les preguntes segons dificultat (és a dir, 'b'). Un cop ordenades, fer dos subexamens amb aquestes preguntes de manera que un d'ells contíngui les més facils i l'altre les més dificils. Algunes d'aquestes preguntes (que seran les de dificultat mitja) haurien de ser comuns als dos. Quan ja hem decidit quines preguntes estan a cadascun deIs dos subexamens, hem de recalcular les notes mantenint eIs parametres 'a' i 'b' que ja teníem, per tal que els resultats siguin comparables. En l'apartat 4.5 s'ha fet una comparació d'aquest tipus dividint un examen de 23 preguntes en dos subexamens de 15 preguntes cada un, de manera que hi ha 7 preguntes comuns als dos, i les 8 més facils i les 8 més dificils apareixen només en un deIs dos. En la figura 3.5 trobem els boxplots corresponents a les notes finals d'un examen amb totes les preguntes, un altre amb les més faciIs i un altre amb les més dificils. Veiem que la dificultat de l'examen no afecta gaire a les notes finals deis alumnes, ja que les caixes deIs boxpIots són bastant semblants. 30 • • 3 Aplicacions i comparativa del model Figura 3.5 10 ¡ o '" 5 z: + Totes Fac ils Di ii e ils 3.2.3. Detecció d'estudiants atípics El model pressuposa que l'estudiant té un cert niveU que li dóna moltes possibilitats de contestar les preguntes per sota d'un cert nivell, i molt poques d'encertar per sobre d'aquest. Aleshores, un estudiant que no respongués d'acord amb el que sap (ho fes a l'atzar, o malament a posta per jugar amb el SIAV, per exemple), o que no tingués un nivell homogeni en tots els temes que intervenen a l'examen, no s'adaptaria bé al model establert. Per tant, es proposa una comparació entre els models classics i el nou enfront d'alurnnes atípics en aquest sentit, en concret per als següents casos : Alumnes que contesten bé únicament les preguntes més facils. Alurnnes que contesten bé únicament les preguntes més dificils. Alumnes que contesten de forma aleatoria a totes les p-reglL.'1tes . En l'apartat 4.7 se'n fa un estudi concret amb les respostes deis alumnes reals i amb altres respostes d'alumnes ficticis que han contestat d'alguna d'aquestes tres malleTes. En la figura 3.6 veiem una grafica que ens mostra el valor de la funció de maxirna versemblanya segons el tipus d'alumne (real o els 3 tipus de fantasmes) . Veiem com els examens corresponents a fantasmes bons i dolents ens donen una fita superior i inferior, respectivament. Els generats aleatóriament es distribueixen per la part central i superior de l' espai compres entre aquestes fites, mentre que els reals queden majoritariament en la part superior d'aquesta zona . Figura 3.6 O • O 1 AEab: . • *. • -30 • . Index 100 200 300 400 500 600 • 2 B::r5 • 3 r:::cfrJs ~ -10 .2 u <: ~ -20 31 4. Simulacions 4. SIMULACIONS 4.1. CAS CONCRET Per a realitzar l' estudi pnktic disposem de les respostes deIs alumnes en un examen de I'assignatura de c¡Ucul infinitesimal, realitzat el 8 de gener de 1998 a l'ETSETB. Aquest examen consta de 26 preguntes (veure annex 7.3) i el nombre de respostes amb que comptem és de 494. La dificultat i la discriminació de les 26 qüestions que composen aquesta prova, calculades a partir de les macros Dific.mac i Discrim.mac, segons les fórmules chlssiques que es fan servir a l'hora de corregir els examens tipus test, apareixen arrodonides a dos decimals a la taula de la figura 4.1. figura 4.1 Pregunta Dificultat Discriminaci6 1 ~0.55"'"' 0.60 2 0.50 0.65 3 0.88 -0.02 4 0.93 0.44 5 0.43 0.54 6 0.54 0.24 7 0.35 0.58 8 0.72 0.22 9 0.80 0.13 10 0.41 0.47 11 0.41 0.60 12 0.93 0.03 13 0.87 0.43 14 0.71 -0.08 15 0.46 0.42 16 0.63 0.59 17 0.63 0.50 18 0.5l 0.47 19 0.85 -0.11 20 0.42 0.20 21 0.72 0.08 22 0.60 0.57 23 0.55 0.67 24 0.88 0.46 25 0.56 0.55 26 0.46 0.18 32 4. Simulacions La discriminació calculada segons aquestes fórmules pot prendre valors entre -1 i l. El valor mwm s'assoleix quan els alumnes 'bons' contesten bé i els alumnes 'dolents' contesten malament i el mínim quan passa el contrari, els 'bons' contesten malament i els 'dolents' contesten bé. El zero ens indica que la pregunta no permet diferenciar entre alumnes 'bons' i 'dolents' . Com es pot observar, les preguntes que compten amb una discriminació més alta són la 23 i la 2 per a les quals val 0.67 i 0.65 respectivament. Hi ha 3 preguntes que tenen una discriminació negativa: la 3, la 14 i la 19, tot i que, les 3 són bastant properes a zero. En quant a la dificultat, si l'esperan'(a de la nota és zero, pot prendre valors entre O i 1. Les preguntes que tenen els valors més alts són les més dificils: la 4 i la 12, amb un valor de 0.93. La més Íacil és la número 7 per a la qual el valor de la dificultat és 0.35. A continuació, realitzem una aml1isi descriptiva del resultat obtingut en cadascuna de les 26 preguntes. En la taula de la figura 4.2 hi tenim el número d'alumnes que han contestat bé, els que han contestat malament i els que s 'han deixat en blanc cada una de les preguntes. Aixi mateix, també apareix el percentatge sobre el total que representa cada valor. figura 4.2 Pregunta Bé En blanc Malament N % N % N % 1 252 51. 01 151 30.57 91 18.42 2 288 58.30 80 16.19 126 25.51 3 158 ]} .. 98 38 7.69 298 60.32 4 53 10.73 386 D8.14 55 11.13 5 330 66.80 24 4.86 140 28.34 6 25 51. 01 170 34.41 72 14.57 7 351 71. 05 53 10.73 90 18.22 8 170 34.41 231 46.76 93 18.83 9 168 34.01 114 I 23.08 212 42.91 10 37 68.22 25 5.06 132 26.72 11 327 66.19 55 11.13 112 22.67 12 118 23.89 124 25.10 252 51.01 13 166 33.60 22 4.45 306 61.94 14 151 30.57 321 64.98 22 4.45 15 310 62.75 10.93 130 26.32 - 16 221 44.74 152 30.77 121 24.49 17 233 47.17 115 23.28 146 29.55 18 278 56.~ 102 20.65 114 23.08 19 91 18.42 348 70.45 55 11.13 20 324 65.59 61 12.35 109 22.06 21 216 43.72 51 10.32 227 45.95 22 233 47.17 154 31.17 107 21.66 23 237 47.98 207 41.90 50 10.12 24 124 25.10 172 34.82 198 40.08 25 273 55.26 61 12.35 160 32.39 26 296 59.92 103 20.85 95 19.23 33 4. Simulacions Com es pot veure, la pregunta que ha contestat bé un percentatge més alt d'alurnnes és la número 7, per a la qual gairebé el 71 % deIs alurnnes han respost de manera correcta. D'altra banda, la pregunta que ha tingut el percentatge més baix de respostes bones ha estat la quarta per a la qual només 53 alurnnes, un 10.73%, han sabut identificar la resposta adequada. Possiblement es tracta d'una pregunta formulada d'una manera una mica confusa o que es refereix a un tema una mica tangencial ja que compta amb un altíssim percentatge d'alurnnes que l'han deixat en blanc: més del 78%. La pregunta 13 és la que té un major percentatge de respostes incorrectes: més del 61 %. Aquesta pregunta és la que han deixat en blanc menys alurnnes, 22 deIs 494, i possiblement es tracta d'una pregunta que, tot i semblar prou senzilla, com per no deixar-Ia sense contestar, deu amagar alguna trampa que fa que la majoria dels alurnnes la contesti malament. El menor tant per cent de respostes dolentes correspon a la pregunta 14 i és del 4.45%, és a dir 22 alurnnes deIs 494 l'han contestat errónÍament. Aquesta qüestió presenta un percentatge fonta alt de respostes en blanc, el 65%, amb la qual cosa tampoc es pot dir que es tracti d'una pregunta eminentrnent facil doncs només les preguntes 4 i 19 han estat deixades en blanc per més alurnnes: el 78.14% i el 70.45%, respectivament. Es pot dir que deIs 173 alurnnes que han decidit contestar-la, gairebé el 90% (151) ho han fet bé. D'altra banda, si fem una analisi descriptiva de les notes que s'obtenen pels 494 alurnnes, segons si es penalitzen les respostes incorrectes o no, veiem que la mitjana en el primer cas es situa en 3.7 i en el segon es gairebé un punt més alta situant-se al voltant del 4.6. Emprant el metode tradicional d'avaluació amb penalitzacions, aprova aproximadament el 30% deIs alurnnes (148 deIs 494), mentre que si la nota es calcula sense penalitzacions, el percentatge d'aprovats augmenta fins el 46.5% (230 alurnnes). La desviació estandard és més gran per a les notes calculades amb penalitzacions,+94, que per·a les notes sense penalitzacions, 1.59 (figures 4.3 i 4.4). Com s'aprecia en aquesta mateixa figura, el fet de penalitzar les respostes incorrectes fa que el mÍnim es correspongui amb una nota negativa, -1.15. Tots aquests resultats es poden veure gn\ficament en els boxplots de la figura 4.5. figura 4.3 Descriptive Statistics Variable NOTA PENALIZANT N 494 3. Mean Median Tr Mean StDev 7263 3.8462 3.7364 1.9393 SE Mean 0.0873 Variable NOTA PENALITZANT Min -1.1538 Max 8.8462 Q1 2.3077 Q3 5.1282 34 -- -- -- 4. Simulacions figura 4.4 Descriptive Statistics Variable N Mean Median Tr Mean StDev SE Mean NOTA SENSE PEN. 494 4.6380 4.6154 4.6414 1.5909 0.0716 Variable Min Max Q1 Q3 NOTA SENSE PEN. 0.0000 8.8462 3.4615 5.7692 figura 4.5 10-r------------------------------, g 5 Z o * -, "',,,,, L--------r~------------_r_-------I NOTAPEN. NOTA NO PEN, EIs histogrames de les figura 4.6 ens penneten observar millor les distribucions de les notes en els dos casos. Tot i que, a primer cop d'ull sembla bastant obvi que en tots dos casos es tracta d'una distribució nonnal, per assegurar-ho amb més precisió dibuixem un plot de nonnalitat de les notes i veiem que, efectivament és així (figura 4.7). figura 4.6 100 - ·3 c: .., ol!' " 50 u. o - __ rr- - rf L -2.0 ·(t6 0.4 1.6 2.8 4.0 5.l 6.4 7.6 8.6 NOTAPEN. 1.0 120 --- 20 ~ Il o 0123456789 NOTA SENSE PEN. 3S - - 4. Simulaciolls figura -4 .7 Normal Probability Plot .999 - .99 ~ .9 5 .- -<:l (1) -<:l 2 Q.. 80 .50 .20 .05 . 01 .¡' ~ ... , " ~ .' - . ~ 001 o -l 8 NOt3 pe ·a il 2 ant A ,.'e r3 ge 3 /2 €2 5 i J·''=.'s[ 'e ' '\ :f'1"!"atT, StCe , 1. .33930 ~ : JS· ,' : ' 1 .l94 ;: ·'/3a.E : 3:r!=,rOA' O; i' 15 .599 - .99 " 35 - ~ 80 .=i ~ (IJ .50 -<:l ~ O .20 - Q... .05 01 .001 i O 2 345 ~ 7 8 9 Average: 4.63796 Nota sense penalitzar ¡\ ¡ - (es:' ~ cr ,\ cr - I :!- T, StD"" 1.59094 N: 494 R. J ~ ;$ 3 ,P-'j3l ue (a. r:Yc < . ~ :: 'cee Per acabar, vegem si les preguntes estan correlacionades entre elles A la fi gura -f8 b ten ll TI la matriu de correlacions on podem veure que totes les correlacions es tro b e: n per sota d. ~ O 3 l. Sembla dones, que no poden establir-se lligams entre les diferents qüest lO os 36 4. Simulacíons ÍIgura 4.8 W part) P1 P2 ! P3 P4 P5 P6 ~. 0.22 LP8 0.10 P9 P10 P11 P12 P13 P1 1 0.28 -0.11 0~25 0.09 0.21 0.07 0.03 0.18 0.18 0.06 0.13 P2 1 0.01 0.06 0.19 ~.04 0.08 0.16 0.19 0.01 0.17 P3 1 0.03 0.01 0.03 0.02 -0.09 -0.03I 0.04 -0.02 -0.08 0.01 P4 1 0.08 0.10 0.08 0.10 -0.02 -0.01 0.16 -0.08 0.11 P5 1 0.14 0.23 0.01 -0.06 0.16 0.07 -0.04 0.06 P6 1 0.13 0.02 0.00 0.09 0.09 -0.10 0.09 P7 1 -0.01 0.05 0.07 0.21 0.05 0.05 P8 1 0.10 -0.01 0.06 0.00 0.03 P9 1 -0.02 0.10 0.01 0.01 P10 1 0.15 0.02 0.12 P11 1 0.00 0.14 P12 1 -0.07 P13 1 P14 H P15 I I P16 P17 P18 P19 P20 P21 P22 P23 P24 P25 P26 37 • • -- 4. Simulacions 50 40 2 30 e :::s O) ~ 20 n.. 10 .-- -- . o ~----r---.----r---'---'----.- -- ~ o 2 3 4 5 6 7 Mitjana 50 -r---------------------------------, 40 ro 30 e :::s O) ~ 20 n.. o 2 3 4 5 6 7 Mitjana 50 40 '<t ro 30 e :::s O) 20 ~ n.. -.,. .. 10 o o 2 3 4 5 6 7 Mitjana 44 -+ Simulacions o 2 3 4 5 6 7 Mitjana (ú ro e :::::J Ol ~ CL 30 20 o 4 3 I 5 - ~ ---- i 6 7 MitJana I i 1 7 o 2 3 4 5 6 Mitja~.n~a ___________ _ ~ . Simulacions 50 40 o :; 4 5 6 7 Mitjana 50 l 40 I en i i"j i ~ 20 I eL I 10 J o "'--- TI' ---,-----T o 2 :; 4 5 6 7 Mitjana 50 40 ~ · · · c .... o :; 4 5 6 Mitjana 46 4. Simulacions SO 40 N ro 30 e ::J Ol ~ 20 (L 10 O • O 2 3 4 5 6 7 Mitjana 50 1 40 J ~ I ro 30 I § l o 2 3 4 s 6 7 Mitjana Ol J ~ 20 1 10 ~ O ~----.----r---'----.--- '--- -'----~ SO 40 .. ('") N ro 30 e ::J Ol 20 ~ "- (L 10 O o 2 3 4 5 6 7 Mitjana -t 7 -+ . Simulacions 50 40 - <;t N 2 30 - e :;:J el 20 - ~ eL 10 - O --J I I I I I I O 2 3 4 5 6 7 , Mitjana i ~l I ~1 . i30 i . ~ .. I 1::J~, 1 o 2 3 4 5 6 7 MitJana 50 40 (jJ N 30 2 e :;:J E el 20 eL 10 O ~ O 2 3 4 5 6 7 Mitjana 48 4. Símulacions Veiem que les preguntes no tenen un comportament estandard: podríem considerar 'normal' el d'algunes preguntes com la 1,2,5,6,7, ... , en que la Unia corresponent a les preguntes encertades és més o menys creixent i les altres dues decreixents. Algunes preguntes, peró, es comporten diferent: les preguntes 4, 14 i 19 tenen un nombre molt alt de preguntes blanc, i la 12, la 13 i la 21 moltes malament. A més, hi ha preguntes amb comportaments estranys: a la pregunta 9 el nombre de preguntes contestades malament creix entre les dues últimes classes, i a la 24 veiem que entre les classes 6 i 8 el nombre de preguntes fallades primer baixa de cop per després tornar a pujar. De tot aixó, destaquem les preguntes 3, 14 i 19, pels alts i baixos que fan les línies corresponents a les preguntes contestades correctament. Concretament en la pregunta 14, el nombre de respostes en blanc de les dues últimes classes només es superat inferiorment per la classe 1. Després veurem que aquestes preguntes tenen un comportament diferent a la resta. Recordem, a més, que en el tractament classic aquestes preguntes eren les úniques que tenien discriminació negativa (-0.03, -0.10 i -0.08 respectivament). 49 4. Simulacions 4.2.2 TRANSFORMACIÓ DE LES DADES Ara, í com hem vist abans, hem de linealitzar la variable que representa la probabilitat d'encertar cada pregunta segons la nota final de l'examen. Ja vam veure que, per la forma que esperem que tingui, la transformació que fem servir és l'associada a la tangent hiperbolica: on Y = nota, Pj= 'probo encertar la preguntaf. A partir d'ara, assumim que encertar la pregunta és haver-Ia contestat bé, i fallar-la és contestar-la malament o deixar-Ia en blanco Amb la macro transfor.mac transformem les dades segons aquest model i fem la regressió de la nota amb aquesta transformació. Calculem l'estimació de la probabilitat Pj com el nombre d'alumnes de cada classe que encerten la pregunta dividit pel total d'alumnes d'aquesta classe. AIs coeficients que ens surten (pendent i ordenada al' origen) els anomenem a i b respectivament, i els podríem prendre com estimadors de la discriminació i la dificultat. Amb aquesta macro calculem també el coeficient de correlació (R~, que ens donara una estimació de la fiabilitat d'aquesta regressió (percentatge de variabilitat explicada pel model). EIs valors que obtenim són: Figura 4.14 A B RA 2 pA pB 1 1.17817 4.64833 0.915455 O U 2 1.19094 4.14500 0.974206 O O 3 I 1.66752 5.93185 0.168447 0.239 O 4 1.35078 7.92482 0.683500 0.003 O 5 1.33389 3.43688 0.896932 O O 6 1.99769 4.55583 0.782486 O O 7 1.33767 3.15346 0.908494 O O 8 2.03441 6.04953 0.585591 0.ü10 O 9 2.63973 6.45176 0.518219 0.019 O 10 1.69638 3.11442 0.974589 O O 11 1.27073 3.52313 0.898036 O O 12 4.21864 9.64740 0.827539 O O 13 1.61232 5.94529 0.880044 O O 14 2.07505 6.36478 0.161984 0.249 0.003 15 1.39532 3.68728 0.889737 O O 16 1.26972 4.99738 0.984542 O O 17 1.15795 4.80271 0.923754 O O 18 1.63206 4.14905 0.976578 O O 19 1.94362 7.60430 0.216324 0.176 0.006 20 1.37925 3.61522 0.762783 O 0.003 O 2U 2.80412 5.36880 0.691799 O 22 1.23852 4.76665 0.944715 O O 23 =iH 1.16820 4.76644 0.952775 O O 6.67515 0.893826 O O 1.01873 26 1.98464 1.59115 4.21583 3.72269 0.893564 O O 0.863743 O O 50 4. Simulacions Veiem que el p-valor de la A corresponent a les preguntes 3, 14 i 19 és excessivament gran i, per tant, aquest coeficient no és significatiu. L'amUisi descriptiva deIs valors de A, B i R"2 és la següent: Figura 4.15 Descriptive Statistics Variable N Mean Median StDev Min Max cola 26 1.700 1. 493 0.684 1. 019 4.219 colb 26 5.126 4.767 1.621 3.114 9.647 colr 26 0.7758 0.8917 0.2490 0.1620 0.9845 Segons la taula i la descriptiva anteriors, podem destacar valors en general bastant alts per la R2 (amb una mitjana de 0.78 i desviació típica de 0.25), pero anormalment baixos per a les preguntes 3,14 i 19: 0.17, 0.16 i 0.22 respectivament. Ja hem vist abans en els grafics de la figura 4.13 de nombre d'encerts el comportament diferent d'aquestes preguntes. Si exc10em aquestes 3 preguntes i tornem a calcular la mitjana de les R2 per a les 23 preguntes restants, aquesta augmenta fins a 0.85. 51 ••• • • • • • • • 4. Simulacions 4.2.3 CÁLCUL DE LA PROBABILITAT D'ENCERT DE CADA PREGUNTA Amb la macro canvi.mac, anem a calcular una estimació de la probabilitat que té cada alumne d'haver encertat cada pregunta segons la nota seva final. Per fer aixo, desfem la transformació que hem fet abans i calculem les probabilitats a partir de les a's i les b's que havíem obtingut. Per tant, la formula és: [y b'J l+tanh ~ 1 PJ" = ---::::--:-- = ------- _ Y-b j 2 on Y i Pj representen, també, la nota i la probabilitat d' encertar la pregunta j respectivament. Els plots següents ens mostren aquesta probabilitat: Figura 4.16 1.0 -r---------------, 0.9 - ••• 0.8 - • • Q7T"" 0.6- • .o e 0.5- • a. 0.4 _ • • 0.3 -• 0.2 - •• 0.1 - _ •• _ • 0.0 -1...-"-1_'-- l--rl-'-I-'I-'I--'I-"""I'---I"---,-'I 0123456789 Nota sense penaJitzar 1.0 0.9 - 0.8 - 0.7 - N 0.6- .o e 0.5a. 0.4 - 0.3 - 0.2 - 0.1 - 0.0 _. ••••• •- • - - • - • • • • 1 1 I I I I I o 123456789 Nota sense penalitzar 52 ••• • • • • • • • • • • • • • • • • • • •• • • • • • • ••••••••• ••••• • •• • • • • 4. Simulacions 1.0 0.9 - 0.8 - 0.7 - C') 0.6 - .o • e 0.5 - c. 0.4 - 0.3 - 0.2 - 0.1 -• 0.0 I I I I I I I I I I o 1 2 3 4 5 6 7 8 9 Nota sense penalitzar 1.0 0.9 - 0.8 - 0.7 -• '<t 0.6 -• .o • o 0.5 -• o.. 0.4 -• 0.3 - 0.2 - 0.1 - 0.0 -L~~r-~~~~~--~---r---r---r---r--~ I I I I I I I I I o 1 2 3 4 5 6 7 8 9 Nota sense penalitzar 1.0 0.9 -• 0.8 - 0.7 -• • 0.6 - 10 • .o e 0.5 -• • c. 0.4 -• 0.3 -• • 0.2 -• 0.1 -• 0.0 I I I I I I I I I I o 1 2 3 4 5 6 7 8 9 Nota sense penalitzar 53 • • • • • • • • • • •••• • • • •• ••• • • ••• ••••• •• • • • • • • •• • • • • • • •• • • • •••• • 4. SimulacioDS 1.0 0.9 - 0.8 - 0.7 - '<t 0.6 - C\I .f:l 0.5 - e c.. 0.4 - 0.3 - 0.2 - 0.1 -• 0.0 I I I I o 2 3 4 5 6 7 8 9 Nota sense penalitzar 1.0 0.9 = 0.8 • 0.7 -• LO 0.6 -• C\I .f:l 0.5 -• e c.. 0.4 -• • 0.3 -• 0.2 - 0.1 -• 0.0 I o 2 3 456 7 8 9 Nota sense penalitzar 1.0 0.9 - 0.8 - 0.7 - <O 0.6 - C\I .f:l 0.5 - e • c.. 0.4 - 0.3 - 0.2 -• 0.1 - 0.0 I I I I I O 2 345 6 789 Nota sense penalitzar 60 4. Simu1acions 4.3 COMPARACIÓ AMB MODELS CLÁSSICS 1 CONCLUSIONS Tot seguit, anem a veure com els valors d' "1/a" (inversa del pendent) i "b" (valor de l'ordenada en l' origen) que hem obtingut al fer la regressió lineal, ens proporcionen uns altres estimadors de la discriminació i la dificultat respectivament. El grafic de la figura 4.17 mostra que existeíx relació lineal entre el valor classic de la discriminació i la inversa del valor d' "a" que hem obtingut. figura 4.17 Regression Plot y = -0.33 + 1.06747X R-sq =0.644 0.7 Q.6 -o 'ü ro 0.5 'E c: Q.4 o 0.3 fII í5 0.2 0.1 0.0 -0.1 u U Q.4 U Q.6 U U U u 1/A Els punts en vermell representen a les preguntes 3, 14 i 19.' Com que, a més de tena la discrimina ció negativa, el coeficient A ens ha sortit abans poc significatiu, continuem fent l' estudi sense elles. Fem una regressió simple per explicar la discriminació amb "l/a" i veiem que la recta ajustada té una R2 (adj)= 75.7%. Hi ha una observació que té un residu estandaritza1 més gran de 2 en valor absolut i que correspon a la pregunta 20. La pregunta 12 té una gran influencia a l'bora de rer la regressió. Aquests resultats es poden veure en les sortides de Minitab de la figura 4.18 61 4. Simu1acions figura 4.18 Begression Ana1ysis The regression equation is disc = - 0.192 + 0.913 l/A Predictor Constant l/A Coef -0.19164 0.9128 StDev 0.07581 0.1094 T -2.53 8.34 P 0.020 0.000 S = 0.09609 R-Sq 76.8% R-Sq(adj} = 75.7% Analysis of Variance Source Regression Error Total DF 1 21 22 SS 0.64267 0.19391 0.83658 MS 0.64267 0.00923 F 69.60 P 0.000 Unusual Obs 12 20 observations c134 disc 0.237 0.0307 0.725 0.1956 Fit 0.0247 0.4702 StDev Fit 0.0513 0.0210 Residual 0.0060 -0.2746 St Resid 0.07 X -2.93R R denotes an obs. with a large st. resido X denotes an obs. whose X value gives it large influence. la que el p_valor del coeficient del terme constant del model és Olés gran de 0.05 i, per tant, no és estadísticament significatiu si treballem amb aquest nivell de significació, traiem la constant del :model i n'ajustem una nova recta de regressió. L'equació que obtenim aleshores és: Discriminació = 0.646 '" l/A que oompta amb una R2 94.8%. La pregunta 20 continua tenint un residu estandardiízat menor a -2. figura 4.19 Discriminació= 0.646 ·l/A 0.7 0.6 'o 'O 0.5 CIl C 'E 0.4 'C li 0.3 i5 0.2 0.1 0.0 • 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1/A 62 -t . Simulacions Com es pot veure en l'analisi de residus de la figura 4.20, els residus obtinguts no presenten cap irregularitat: en el grafic de residus vs valors previstos els punts no presenten cap forma concreta, en el ICchart veiem que no ens surt cap patró. figura 4.20 Analisi deis residus r ~ "rmr P,o' o. ~es'ou¡;l~ :::hOilrT ot Re .. du~ l , , ......... , ' 4 3 -- l OS '. ~ l zn o -, -2 ", . - ", 2 ro " 1 " o . ¡¡; " -, n: -2 /I..¡.\AJ1v\'Vvl\.. ~-c,m -3 -3 ·2 -, o , 2 -4 o 10 20 ,J C:S~lUC Nor ma l Score Observat io n Number -tlsr"wa m of Residuals ResldJ~ 1: v..:-· . r t ~ 6 5 ()4 e ,-- ro " " O r--- - ., .' .. ... -- -- .. ~ 3 CY l' 2 LL- , O fl í l ~ -1 " n: -2 ·3 , : -2.5-2 .0 -1 .5 -' . 00. 5 0.0 0.5 1.0 0. '5 0.25 0 .3 5 0.4 5 0.55 0.65 Residual Fit \ -egem ara que passa amb la dificultat i el valor de "b" obti..l1gut En el plot de la figura 4. 21 scmb la apreciar-se una rclació lmeal entre el valo; classic de la dificultat i el valor de "b ". Per :a nL sembla que com més alt sigui el valor de b més dificil és la pregunta. figura 4.21 Regression Plot y =0.0893 + 0.1 04975X R-Sq = 0.862 1., 1.0 ro -S () ¡¡:: O 0.9 o.e 0.7 0.6 .. ", 0.5 0.4 '- 0.3 10 B 63 4. Simulacions Pertal de veure quina part de la dificultat ve explicada per la "b", fem una regressió simple i veiem que la R2 (adj) és igual al 85,6%. Hi ha tres preguntes que compten amb residus estandaritzats més grans de 2 en valor absolut: la 3, la 12 i la 13 (SÓll les que apareixen en color wnnell a la figura 4.21). A més, la pregunta 12 és intluent a l'hora de fer la regressió. Tots aquests resultats es poden veure a la sortida de la figura 4.22. figura 4.22 Begression AnaIysis The regression equation is DIFICULTAT 0.0893 + 0.105 B Predictor Coef StDev T P Constant 0.08932 0.04610 1.94 0.065 colb 0.104975 0.008590 12.22 0.000 S = 0.06963 R-Sq 86.2% R-sq(adj) 85.6% Analysis of Variance Source DF SS MS F P Regression 1 0.72402 0.72402 149.34 0.000 Error 24 0.11635 0.00485 Total 25 0.84038 Unusual Observations Obs colb dific Fit StDev Fit Residual St Resid 3 5.93 0.8812 0.7120 0.0153 0.1692 2.49R 12 9.65 0.9312 1.1021 0.0412 -0.1709 -3.04RX 13 5.95 0.8704 0.7134 0.0154 0.1570 2.31R R denotes an observation with a large standardized residual X denotes an observation whose X value gives it large influence. El p_valor del coeficíent del terme constant del model és 0.065. Traiem aquest terme del model i la nova equació que obtenim en ajustar relaciona la dificultat i la B de la següent forma: Dificultat 0.121* B. La seva R2 és del 98.8% .Les preguntes 3, 12 í 13 tenen un residu estandarditzat superior a 2 en valor absoluto 1 la pregunta 12 és for~ intluent. Aquests resultats es veuen a la figura 4.23. figura 4.23 Dificultar0.121 * B 1.2 1.1 1.0 10 • :!::: 0.9 12 () O.S :::¡ ;;:: i:5 0.7 0.6 0.5 0.4 • 0.3 :3 4 5 6 7 8 9 10 B En l'amilisi grilfica deIs resídus obtinguts de la figura 4.24 no s'hí aprecia res estrany . 64 -+ Simulacions figura 4.24 Analisi deis residus I<o"m . .! Pio' o' ResidJ~!. ,...,._ .. ;; ;; ::> :> .. - "O . ¡¡; . " ;¡¡ ·1 ~ -1 ero " ·2 ·2 ·3 ·3 ·4 .4~----~r-----.---~ ·2 ·1 10 20 Normal Score ObseNation Number ,-- 15 >- .... -- .. g ~ O ." -. " 10 "O ::> - Vi -1 <1> ero ·2 u: " o- ·3 1 ,----, rIh ·4 ~~-,--r-.-'-.--r~-T ·3 ·2 ·1 0.30.4 0.50.60.70.80 . 91 . 01.11.2 Residual Fit 65 .t _Simulacions 4.4. Implementació de subexamens T ot seguit anem a veure com fan variar la nota de l' examen la difícultat de les preguntes que el composen i el metode de puntuar escollit Per al cas concret que ens ocupa, hem ordenat les preguntes segons el grau de difícultat que hem obtingut amb el nostre model (valor de "b") i hem construit un parell de subexamens: un amb les preguntes de menor difícultat (valors de "b" més baixos) i I'altre amb les més difícils (valors més alts de "b"). D'aquesta manera, podrem veure quina influencia té I'elecció d'unes preguntes o unes altres. Les preguntes 3, 14 i 19, per a les quals el valor d'R 2 és inferior al 50% , no s'han tingut en compte a l'hora de construir els subexamens, ja que ens interessa construir subexamens que SlgUin 'facils i difícils de veritat' . Aixi, a partir de les 23 preguntes restants hem fet dues subproves de 15 preguntes cadascuna. D'aquesta manera, 8 preguntes (les més facils) només apareixen en el subexamen 'facil' , 7 preguntes (les de difícultat mitja) apareixen en tots dos subexamens i 8 preguntes (les de major difícultat) fonnen part únicament del subexamen 'dificil' . lvxi , les 8 preguntes que únicament es troben al subexamen de les preguntes 'facils' són (per ordre de difícultat): la 10, la 7, la 5, 1'11, la 20, la 15, la 26 i la 2. Les 7 preguntes comuns als 2 subexamens són: la 18, la 25, la 6, l' 1, la 23, la 22 i la 17. 1 les 8 preguntes que només apareixen en el sub examen difícil són: la 16, la 21, la 13, la 8, la 9, la 24, la 4 i la 12. A la taula de la figura 4.25 hi apareix la composició de cadascuna de les dues subproves generades. Figura 4. 25 1 2 3 4 5 6 7 8 9 10 J) 12 )3 14 15 16 17 18 19 20 21 22 23 24 25 26 - .. aciJ · ' : " :\ y ' o \ '" '\ \ , , , , :>.. :i ci l· y , \ . , '. \. " o- :': oUn cop ja hem confígurat les dues subproves amb les quals volem veure com influeix I'elecció d'unes determinades preguntes en la nota obtinguda pels alumnes, passem a veure que passa per a cadascun deIs 3 metodes de puntuació que estem fent servir. Comens:arem observant els resultats obtinguts quan la nota es calcula amb penalitzacions, tot seguit veurem que passa quan no es penalitza i, fínalment, ens fíxarem en els resultats obtinguts pel model de maxima versemblans:a. 66 4. Simulacions 4.5. Comparació amb meto des de puntuació classics i conclusions A les figures 4.26, 4.27 i 4.28 veiem els diversos estadístics que ens proporcionen les sortides de Minitab per a les notes calculades amb penalitzacions, sense penalitzacions i per maxima versemblanya respectivament. Nosaltres ens anem a centrar a veure com varia la mitjana de la nota per a cadascuna de les proves segons els diferents sistemes de puntuació. Ja que el metode de calcul de notes amb penalitzacions pot proporcionar notes inferiors a zero i que el model de maxima versemblanya en pot donar d'inferiors a zero i de superiors a 10, per tal de restringir les notes a l'interval de notes habitual [0,10] substituim les notes inferiors a O per Oi les superiors a 10 per 10. A partir d'aquí en fem la comparativa. • Notes calculades amb penalitzacions Recordem que en el metode tradicional de puntuació, per tal que l' esperanya de la nota sigui igual a zero, les respostes incorrectes resten l/(n-l), on n és el nombre d'opcions amb que compten les preguntes. Per a les notes calculades segons aquest metode, la mitjana que obtenim per a les notes de la prova amb les 26 preguntes (3.7) és aproximadament sis decimes superior a la que obtenim per a la subprova dificil (3.1) i més d'1.3 punts inferior a la de la facil (5.1). Aixo vol dir doncs que les mitjanes per a les dues subproves, facil i dificil, difereixen en aproximadament 2 punts. Les desviacions estandard es situen entre 1.9 per a I'examen original i 2.6 per al subexamen Iacil. Figura 4.26 Descriptive Statistics Variable N Mean Median StDev Min Max Totes 494 3.7395 3.8461 1. 9108 0.0000 8.8461 Fékils 494 5.101 5.333 2.640 0.000 10.000 Difícils 494 3.1192 3.1111 2.1087 0.0000 9.3333 • Notes calculades sense penalitzacions Quan no es penalitza, la mitjana per a les notes deIs alumnes a I'examen original és 4.6, per a la subprova amb les 15 preguntes de major dificultat és 4.04 i per al subexamen de les preguntes més facils és 5.8. Aixo vol dir que, tot i que les mitjanes es troben gairebé un punt per sobre de les obtingudes amb el metode anterior, les diferencies continuen sent aproximadament les mateixes. Amb les desviacions tipus passa una cosa similar al que passava amb el metode de les penalitzacions: la més alta correspon a la subprova facil (2.2) i la més baixa a I'examen original (1.59). Les desviacions tipus són més petites que les obtingudes abans ja que ara la varietat de notes és també més petita. 67 4. Simu1acions Figura 4.27 Descriptive Statistics Variable N Mean Median StDev Min Max Totes 494 4.6380 4.6154 1. 5909 0.0000 8.8461 Facils 494 5.8313 6.0000 2.2009 0.0000 10.0000 Difícils 494 4.0405 4.0000 1.8679 0.0000 9.3333 • Notes calculades segons el model de ma:xima versemblan~a Vegem ara que passa amb aquests estadístics per a les notes que s'obtenen segons el model de maxima versemblan~a. Com es pot veure a la figura 4.28 les mitjanes difereixen en el pitjor dels casos (subprova facil i subprova dificil) en menys de 2 decimes: 4.70 i 4.56, respectivament. Les desviacions estandard també són molt similars en els 3 casos i van des d' 1.41 per a la prova completa fins a 1.78 per a la subprova 'Iacil'. Així doncs, sembla que amb aquest metode de puntuació, un cop conegudes la dificultat i la discriminació d'una pregunta, els punts que aporta a la nota final no depenen de com és l'examen global del qual forma parto Figura 4.28 Descriptive Statistics Variable N Mean Median StDev Min Max Totes 494 4.6013 4.6695 1.4108 0.0000 9.2605 Fikils 494 4.7027 4.6916 1.7832 0.0000 10.0000 Dificils 494 4.5680 4.6861 1.7306 0.0000 10.0000 A continuació, anem a fer servir eines grafiques que ens ajudaran a veure aquests resultats de manera més clara. EIs boxplots múltiples de les figures 4.29, 4.30 i 4.31 ens serveixen per a comparar de forma visual com es distribueixen les notes calculades segons cadascun deIs 3 metodes ja comentats. 68 4. Simulacions Figura 4.29 8oxplots de les notes calculades amb penalitzacions per a cadascun deis examens 10 El o Z 5 o Toles Facils Díficils Figura 4.30 8oxplots de les notes calculades sense penalitzacions per a cadascun deis examens 10 * -5 5 Z o * Totes Facils Díficils 69 4. Simulacions Descriptive Statistics Figura 4.43 Va ri able diferenc INDI C OR O - N 494 Me a n - 0 .0485 Median -0 .0309 S tDe v 0.3728 Min -2.9251 Ma x 0 . 7970 1 130 -0 . 1 2 97 -0.1627 0.4 289 - 2.9 251 0.6490 2 26 0.500 0.198 1. 323 -1.1 88 5.606 3 26 -0.297 -0.613 1.388 -2.457 5.6 0 6 Les següents figures ens permeten veure graficament la conclusió anterior respecte a l'augment i disrrUnució de notes en fantasmes bons i dolents . En la primera podem veure com els alwnnes bons queden casi tots per sobre de la recta Y=X , i els dolents per sota. En el segon, que representa la diferencia entre la Nota MV i la nota real, veiem que per als primers la majoria de notes són positives i per als segons negatives, i que els alwnnes normals i aleatoris queden igualrnent distribuits en la part positiva i la negativa Figura 4.44 10 .. 'i I : O Normal 9 1 Aleator. . 2 Bons I 8 3 Dolents .. ! 7 ; : > ~ 6 ro ...... 5 O Z 4 3 2 O O 2 3 4 5 6 7 8 9 10 Nota no Pen. 76 4. Siroulacions Figura 4.45 - 19:) ro 100 - Ü e ID '::J tJ ID u: 9:) - O - o O N::xnal o 1 fljeatDr. o 2 Bons o 3 Dolents I I I 1-- rrr--- f---- f1-- f1--- I -1 .0 -D .8 -D .6 -D4 -D .2 0.0 0.2 04 0.6 0.8 Diferencia notes 77 5. Conclusions i temes de futur 5. CONCLUSIONS 1 TEMES DE FUTUR 5.1 CONCLUSIONS Després de realitzar l'estudi que acabem de presentar, podem arribar a les següents conclusions: • S'ha generat un nou model per avaluar examens tipus test que es basa en la hipotesis que la probabílitat d'encertar té a veure amb el nivell de coneixements que té l'alumne. Aquest mode1 s'ha concretat a partir d'una proposta linealitzable i que depen de dos parametres. • Aquests parametres s'han interpretat i s'ha vist que tenen relació amb les mesures classiques analogues: dificultat i discrimmació de les preguntes. • El model es pot aplicar en escenaris diferents. S'han establert protocols a partir deis objectius establerts inicialment , que són: Establir un model probabilístic per respostes d'una pregunta en funció del niveIl de l'alumne i la dificultat i la discriminació de la pregunta. Establir un model maxim versemblant per valorar el nivell de l'alumne a partir de les seves respostes a preguntes concretes. Detecció de preguntes iJo estudiants amb comportament no ajustat al model. • S'ha fet una simulació concreta en un cas real i s'han comparat ampliament els resultats amb models classics. Hem vist que el model permet, a diferencia deIs classics: 78 5. ConclusioDS i temes de futur Avaluar el nivelI de l'estudiant independentment de la dificultat que tingui l'examen, sempre que aquest pan\metre sigui conegut a priori. -Identificar alumnes que responguin malament de manera expressa. Donar, a partir de la funció de versemblanya, una certa mesura de l'adequació de l'alumne a l'esquema teoric, per tal de detectar respostes atípiques. 79 5. Conclusions i temes de futur 5.2 POSSIBLES TEMES DE TREBALL FUTUR A partir del que hem vist fins ara, pensem que queden obertes diferents línies de treball amb les quals fer més exhaustiu aquest estudi: • Aplicar models iteratius en l'escenari 1 per estudiar la possible convergencia cap a un valor que es pugui considerar com la nota de l'alumne. És a dir, un cop acabada la primera iteració amb les notes maxim versemblants, utilitzar-Ies per recalcular les a's i b's de cada pregunta, tomar a caleular notes, etc. • Cercar algun metode per maxima versemblanc;:a per calcular les a's b's sense haver d 'utilitzar la regressió. • Estudiar com afecta el nivell de l'examen inicial al caleul de les a's i b's. Per exemple, fer diferents subexamens i recalcular en cadascun d'ells les a's i b's i les notes. Estudiar quina relació tenen les a's i b's de les preguntes comuns als dos subexamens, i les notes que s'obtenen en cada subprova (a partir d'alguns estudis preliminars que hem fet, creiem que hi ha una relació lineal forta i aixó minimitzaria alguns dels problemes comentats cara a l'aplicació del procediment en l'escenari 2.) • Millorar la 'corba de banyera' de la funció de versemblanc;:a: normalitzar-la o comparar-la amb quelcom (versemblanc;:a esperada, per exemple) i veure si es pogués obtenir una 'banda' per a valors raonables que permetés identificar els alumnes que no s'adapten al model. • Veure que passa quan s'agrupen les preguntes per temes (preguntes en examen per tema o en examen complet; alumnes que fan l'examen complet en nivells molt heterogenis en els diferents temes, ... ). El SIAV té dues opcions: examen d'un tema concret o de tots els temes de l'assignatura. Aixó fa plantejar-se si els parametres de les preguntes són els mateixos en un cas i en l'altre, és a dir, si el fet que hi hagi temes aparentment més dificils té influencia o no en les a's i b's. Arnés, pot passar que algun alumne opti per l'examen complet tot i no dominar igual tots els temes: aleshores, aquesta hetereogeneitat hauria de fer que no s'adaptés massa bé al nostre model. Aleshores: es pot fer queleom per testejar si un estudiant té nivell semblant en els diferents temes? • Implementació en algun llenguatge de programació per substituir els programes de Maple. 80 6. 6.BIBLIOGRAFIA • Peña, D. "Estadística. Modelos y métodos (vol. 1)". Alianza Universidad Textos, Madrid 1986. • Villar, J. "Informe técnico de S.LA. V. 1.11.". UPC, Barcelona, 1996. • Serveis Informatics de la UPC. "Aplicació de correcció d'examens. Manual de l'usuari (v. 2.0.) n. UPC, Barcelona, 1994. • Igelmo Ganzo, A ''Análisis Descriptivo de Datos n. Universitat de les Illes Balears. Col.1ecció Materials Didactics, 49. • Chambers, J. M. et al. "Graphical Methods for Data Analysis". Chapman & Hall Statistics Series. • DeGroot, M. H. "Probabilidad y estadística" 2a edición. Wilmington, DE. Addison-Wesley Iberoamericana cop.1988 • Edwards, A.W.F. "Likelihood" Expanded ed. Baltimore, John Hopkins University Press cop.1992 • Rohatgi, V.K. "An introduction to probability theory and mathematical statistics ". New York, John Wiley and Sons cop.1976 81 7. Annexes 7.ANNEXES 7.1. MACROS MINÍTAB Tot seguít, expliquem breument cadascuna de les macros de minitab que hem elaborat í a que hem fet referencia al llarg deIs capítols precedents, diem quins són els seus pan\metres d'entrada i de sortida i, finalment, llistem el codi. 7.1.1. dific.mac Aquesta macro calcula la dificultat d'una pregunta segons la fórmula cUlssica que es fa servir a la UPC a 1 'hora de corregir els examens tipus test: 1_ Suma_de ""plUlts _ acumulats _ en _la ""pregunta Nombre d'alumnes EIs pan\metres d'entrada són la columna que conté el vector d'encerts de la pregunta (Pk) i el número de la pregunta (k). Ens retoma el valor de la dificultat i l'ernmagatzema a la posició "k" de la columna "cdific". MACRO DIFIC PK K CDIFIC MCONSTANT K SUMA N DIF MCOLUMN PK CDIFIC 82 7. Annexes LET SUMA=SUM(PK) LET N=COUNT (PK) LET DIF=l-SUMA/N LET CDIFIC(K)=DIF ENDMACRO 7.1.2. discrim.mac Aquesta macro calcula la discriminació d'una pregunta segons la fórmula classica que es fa servir a la UPC a l'hora de corregir els examens tipus test: . (B*C)-(A*D) DlSC = -'----'----'----'- (B*C)+(A *D) on A és el nombre d'alumnes que contesten correctament la pregunta i que formen part del 50% que té les notes més baixes, B és el nombre d'alumnes que contesten correctament la pregunta i que formen part del 50% que té les notes més altes, C és el nombre d' alumnes que contesten incorrectament la pregunta i que formen part del 50% que té les notes més baixes, i D és el nombre d'alumnes que contesten incorrectament la pregunta i que formen part del 50% que té les notes més altes. Els panlmetres d'entrada són el vector amb les pntes (nota), el vector d'encerts de la pregunta (Pk) i el número de la ¡;CeglL,ta (k). Ens retorna el valor de la discriminació en la po si ció "k" de la columna "cdisc". MACRO DISCRIM NOTA PK CDISC K MCONSTANT A BCD AUX1 AUX2 I DISC K MEDIANA N MCOLUMN NOTA PK CDISC C130 LET C130=(NOTA-PK)/1.9 LET MEDIANA=MEDIAN(C130) LET N=COUNT(C130) LET A=O LET B=O LET C=O LET D=O LET AUX1=0 LET AUX2=0 LET I=l WHILE I<=N IF C130(I) <MEDIANA IF PK(I}=l LET A=A+l ELSEIF PK(I)<>l LET C=C+l ENDIF 83 7. Annexes END1F 1F C130(1)=MED1ANA 1F PK(1)=l LET AUX2=AUX2+1 ELSE1F PK(1)<>l LET AUX1=AUX1+1 END1F END1F 1F C130(1»MED1ANA 1F PK(1)=l LET B=B+1 ELSE1F PK(1)<>l LET D=D+1 END1F END1F LET 1=1+1 ENDWH1LE LET A=A+AUX2/2 LET B=B+AUX2/2 LET C=C+AUX1/2 LET D=D+AUX1/2 PR1NT A,B,C,D,AUX1,AUX2 LET D1SC=(B*C-A*D)/(B*C+A*D) LET CD1SC(K)=D1SC ENDMACRO 7.1.3. classes.mac Aquesta macro la fem servir per a comptar el nombre d' alumnes de cada classe que contesten bé la pregunta, els que ho fan malament í els que no la contesten. Abans de fer-la servir, s'han d'ordenar els alumnes i agrupar-los en classes en funCÍó de la seva nota a l' examen. Com a parametres d'entrada tenim el vector "classe" que ens indica la classe a que pertany l'alumne i el vector d'encerts de la pregunta "ck". La macro ens retoma tres columnes: "col 1 " amb el número d' estudiants per classe que contesten correctament, "co12" amb el número d'estudiants per classe que es deixen en blanc la pregunta i "col3" amb el número d'estudiants per classe que contesten malament. MACRO CLASSES CLASSE MCOLUMN CLASSE MCONSTANT 1 J CK CK M N K COL1 COL1 COL2 COL2 COL3 COL3 LET M=10 LET J=l WH1LE J<=M LET COL1(J)=0 LET COL2(J)==O LET COL3(J)==O 84 - - -- - - -- - 7. Annexes LET J=J+l ENDWH1LE LET N=COUNT(CK) LET 1=1 WH1LE 1<=N LET K=CLASSE (1) 1F CK(1)=1 LET COLl(K) =COLl(K) +1 ELSE1F CK(1)=O LET COL2 (K)=COL2 (K)+1 ELSE1F CK(1)=Kl LET COL3 (K) =COL3 (K) +1 END1F LET 1=1+1 ENDWH1LE ENDMACRO 7.1.4. transfor.mac Aquesta macro transforma les dades segons el model associat a la tangent hiperbólica i fa la regressió de la nota amh aquesta transformació. EIs seus parametres d'entrada són els vectors "n_he_k", "n_mal_k" i "n_hlanc_k" que hem ohtingut en la macro classes.mac, el vector amb les mitjanes de les notes de cada classe i el número de la pregunta, k. Ens retoma el vector de la transformació "transk" i e1s pan\metres de la regressió 'a', 'h' i R2 en la posició k de les columnes "cola", "colh" i "colr" respectivament. MACRO TRANSFOR N BE K N MAL K N BLANC K M1TJANA TRANSK COLA COLB COLR K MCOLUMN N BE K N MAL K N BLANC K M1TJANA TRANSK COLA COLB C31S COLR CSOO CSOl N NOBE K MCONSTANT A B K MMATR1X MI LET N NOBE K=N MAL K + N BLANC K LET TRANSK:LOGE(N_BE_K/(N_NOBE=K» REGRESS M1TJANA 1 TRANSK¡ CONSTANT¡ COEFF1C1ENTS C31S. LET A=C31S(2) LET B=C31S(I) LET COLA(K)=A LET COLB(K)=B CORR TRANSK M1TJANA MI COPY MI CSOO CSOl LET COLR(K)=CSOO(2) **2 ENDMACRO 85