Verslag TAC-vergadering Maandag 23 april 2012; 15:00-16:30 zaal 5.45 Aanwezig: Afwezig met bericht: Johan Jeuring, Gerrit Heil, Ferdi Engels 1. Rondje: Toetsingswetenswaardigheden uit de faculteit? Inge: Bij GNK is vorig jaar een EMP-project gedaan over het formuleren van eindtermen en leerdoelen voor alle tracks. Het geld was toen niet op en dat wordt nu ingezet voor het bewaken van leerdoelen (vanuit COLUU Hanno van Keulen). Het gaat om het ontwikkelen van een manier om niet in detail maar in grovere termen de kwaliteit te bewaken. Er wordt gekeken naar werkstukken, praktijkstages, presentaties en een-op-een begeleiding (Inge, wil je even checken?) Egbert: Is bezig met het organiseren van trainingen voor docenten rond toetskwaliteit (scheikunde/bio). Er zijn nu 21 aanmeldingen; dat valt tegen. Misschien heeft het ermee te maken dat er twee cursussen kort op elkaar gepland zijn. Voorafgaand is bij de docenten gepeild naar de belangstelling voor 2 middagen, ook is de belangstelling voor verschillende thema’s gepeild. Egbert houdt contact met Inge hierover in het kader van erkenning voor BKO. Andre: Loopt aan tegen beoordeling van afstudeerwerk. Bij studenten die in het buitenland verder studeren is er een probleem met de becijfering van afstudeerwerk. Een 8 (wat hier goed is) wordt vertaald naar een B (wat maar als mager gezien wordt). ‘Dutch grades don’t look good on paper.’ Inge (?) meldt dat er voor de cijfers tegenwoordig een GPA-omrekening (grade point average) wordt gehanteerd op diploma’s. Een 8 levert 4,00 GPA op (score loopt van 1,00-4,00). Zie: http://www.uu.nl/NL/Informatie/studenten/regelingen/Pages/gradepointaverage.aspx Op de site zie je dat dit ook niet zonder toelichting kan, aangezien de wijze van berekenen per universiteit verschilt. Harry: Zit nog in zijn maag met de definitie van de term ‘afstudeerverslag/afstudeerscriptie’. Het verschilt heel sterk per opleiding waar de grootste waarde aan toegekend wordt. (zie punt 2 hieronder). We moeten dat goed definiëren. Christine: Er is een lunchbespreking geweest t.a.v. het nieuwe toetsbeleid. Docenten zijn erg geschrokken van wat ze komend jaar moeten administreren (leerdoelen, toetsmatrijs). Het belang wordt erkend, maar zelf het werk doen stuit op weerstand. Er zit een cursus toetsing in de pijplijn. Er is een nieuwe directeur, Johannes Boonstra (voorheen vz. OC GSLS); deze denkt na over het stroomlijnen van studiepaden binnen de bachelor. Dat heeft ook gevolgen voor toetsing. Andere TAC-leden herkennen dit. Een algemene vraag die dit oproept is of de TAC onnodige bureaucratisering kan voorkomen of in elk geval inperken? Joke Daemen komt als interim-TAC-lid voor SEC en de lerarenopleidingen in de commissie. Zij zal vanaf volgende vergadering worden uitgenodigd. 2. Beoordelen afstudeerwerk (door EC/TC) Vorige keer hebben we het kort gehad over het beoordelen van afstudeerwerk. Op dat moment was niet duidelijk wat de TAC hieraan kon bijdragen en wie daarmee geholpen moest zijn. In een eerdere mail van Johan vond Barbara het volgende: “Op dit moment verloopt de beoordeling van afstudeerwerken binnen de verschillende opleidingen nog niet goed. Twee examencommissievoorzitters hebben om advies gevraagd voor het beoordelen van afstudeerwerken. Het betreft dan zowel het beoordelen zelf, als de procedure. Ik [Jeuring] denk dat de volgende aspecten een rol spelen: - hoe formuleren we de criteria waarop een afstudeerwerk wordt beoordeeld? Hoe zijn die gerelateerd aan de eindtermen van een opleiding? - hoe bepalen we het niveau van een student op de verschillende criteria - hoe zorgen we ervoor dat bij ieder afstudeerwerk ook daadwerkelijk een beoordeling wordt opgeleverd? - hoe zorgen we ervoor dat de beoordelingen van de scripties zoveel mogelijk met elkaar vergelijkbaar zijn?” Dit zijn zaken die op facultair of opleidingsniveau geregeld moeten worden, maar als TAC kunnen we daar natuurlijk wel advies over uitbrengen. Een EC/uitvoerende toetscommissie moet een referentiekader hebben op basis waarvan de kwaliteit van de examens geborgd kan worden, en is daarmee direct belanghebbende bij dergelijke regelgeving. Het is mogelijk dergelijke richtlijnen op te stellen op een manier die elke opleiding nog steeds ruimte laat om deze op een opleidings-eigen manier in te vullen. Naar aanleiding van het discussiestuk dat Barbara kort voor de vergadering had rondgestuurd, ontspint zich een discussie: Binnen diverse opleidingen is er discussie over de Bachelor-scriptie als afstudeerwerk. Het merendeel van de scriptie is overgeheveld naar de Masterfase. Of de bachelor een eindstation zal worden is in de praktijk nog onzeker; op dit moment is er weinig vraag. Bovendien is er de fundamentele discussie of er naast een HBO-master nog ruimte is voor een WO-Bachelor en wat daar dan de meerwaarde van moet/kan zijn. Bij scheikunde is de ervaring dat een bachelor vooral toegang geeft tot niet-scheikundige beroepen (zoals ICT). Het kader van deze discussie is de betrouwbaarheid en de kwalificatie van de beoordelaars van afstudeerwerk. In toenemende mate worden rubrics gebruikt voor de onderbouwing van cijfers. Inge vertelt dat er op basis van de literatuur weinig zinnigs gezegd kan worden over de effectiviteit van rubrics. De praktijk laat wel zien dat beoordeling op basis van intuïtie of rubrics niet veel verschil maakt. Het is vooral een hulpmiddel om feedback beter te verwoorden. Daarnaast kunnen rubrics een handvat zijn voor studenten, maar ook deze lijken in eerste instantie niet effectief, omdat studenten de terminologie niet herkennen. Naar Inges mening zijn rubrics wel heel nuttig om de discussie tussen docenten over beoordelingscriteria te verhelderen. Het is dus wel zinnig om als opleiding rubrics te formuleren als startpunt voor de discussie over beoordelen van afstudeerwerk. Men is het er wel over eens dat meer beoordelaars betere betrouwbaarheid oplevert, maar het effect op het eindcijfer is beperkt als slechts een beoordelaar het proces beoordeelt. Bij Farmacie is een experiment aan de gang om met 8 docenten scripties te bekijken en daar vervolgens discussie over te voeren. De ervaring is dat dit de kwaliteit van de beoordelingen sterk verhoogt. De TAC kan een discussiestuk aanleveren waar EC’s over na kunnen denken. Bewustmaking is een belangrijke taak van de TAC. In dit stuk zal alles als vraag geformuleerd worden: Op welk niveau wil je beoordeling van afstudeerwerk als opleiding regelen? Moet dat centraal voorgeschreven worden (onderwijsdirecteur) of laat je dat over aan docenten? Etc. Barbara maakt een eerste opzet. Bij Geneeskunde is in het kader van de proefvisitatie gekeken naar scripties met een 9 en een 6. Als twee negens naast elkaar gelegd werden bleek men er een toch niet te kunnen plaatsen. Overall conclusie op basis van deze ervaringen is dat het heel belangrijk is om regelmatig (liefst structureel) de discussie tussen docenten te voeren over de beoordeling van afstudeerwerk. Er zijn meerdere vormen mogelijk; intervisie is een andere optie. 3. w.v.t.t.k. INHOUDELIJK DEEL: Presentatie scheikunde door Egbert Mulder - Correctiemodellen zijn nog niet standaard; sommige vakken hebben het goed geregeld, veel docenten werken met ‘kattebelletjes’ - Toetsanalyse is redelijk in orde, de betrouwbaarheid is nooit ondermaats. De feedback voor docenten was wel nuttig. De spreadsheet op de TAC-site blijkt vooral belangrijke waarde te hebben voor het berekenen van de correlatiecoefficient. Een negatieve RIR dwingt tot nadenken over de betreffende vraag, maar dat hoeft niet tot de conclusie te leiden dat de vraag eruit moet. Het is wel een hulpmiddel om de echte foute vragen eruit te halen. - Toetsmatrijzen zijn nog ontwikkelingsgebied. Er is nu een cursus voor opgezet waar 4 inschrijvingen voor zijn. De vraag is of studenten de handleiding echt gaan lezen en de matrijs gaan bekijken. - Feedback en beoordelingsformullieren (validiteit); hier blijkt dat het nog regelmatig voorkomt dat studenten niet van tevoren duidelijk is waarop ze feedback zullen krijgen. - De 2e beoordelaar is nog niet structureel doorgevoerd; er zijn wel plannen. In de bachelor gaat men nu nog niet verder dan steekproefsgewijs een tweede beoordeling doen. Bij de master moet de 2e beoordelaar van buiten de eigen onderzoeksgroep komen. Vraag: Zit tussentijds feedback geven ook in de TAC-portefeuille? Bij GSLS zijn scriptiecontracten verplicht Is het mogelijk een overall plan voor toetskwaliteit op te zetten?