VERSLAG TAC-OVERLEG 26 JUNI 2012 9:45-11:15, BBL 4.45 Aanwezig: Barbara Allart (verslag), Inge van den Berg, Harry Bitter, Joke Daemen, Christine Knippels, Gerard Tel. Afwezig: Johan Jeuring, Andre Henriquez, Gerrit Heil, Ferdi Engels AGENDA 0. Voorstellen Joke Daemen 1. Rondje: Toetswetenswaardigheden uit de faculteit Is die beoogde facultaire dag over gebruikte digitale toetssystemen nog georganiseerd/gepland (notulen 2 april)? Is er al duidelijkheid over de archivering van toetsen? (notitie) 2. Discussiestuk(ken) voor examencommissies (zie bijlage); hoe nu verder? 3. Terugblik op het TAC-jaar 2011-12; wat hebben we gedaan, wat is er blijven liggen? Wat is de toegevoegde waarde van de TAC geweest? 4. Vooruitblik op komend jaar: hoe ziet de TAC haar taak voor komend jaar; welke punten moeten geagendeerd worden 5. Wvttk. 0. Voorstellen Joke Daemen Joke Daemen sluit zich deze vergadering voor het eerst aan bij de TAC-beta. Ze werkt bij FIsme en in de lerarenopleiding voor Bèta en is betrokken bij de SEC, (Master Science Education & Communication). Ze zit in de EC Science & Society. 1. Rondje: Toetswetenswaardigheden uit de faculteit Christine is naar de cursus 'toetsen en beoordelen' geweest, maar voor haar zat er niet veel nieuws bij. De cursus richtte zich primair op toetsanalyse, en niet op de (verwachte) insteek 'hoe zet je een goede toets in elkaar?' De verwachting sloot voor haar niet aan bij het aanbod. Harry heeft van collega's vergelijkbare reacties gehoord; het eigen materiaal dat deelnemers moesten meebrengen is niet gebruikt; het was vooral een algemeen verhaal over toetsing, gericht op gesloten vragen. Dat is binnen deze faculteit niet waar men de problemen ervaart. Johan had een mail rondgestuurd over de cursus ICT in toetsing; volgens Inge zijn er pas 2 aanmeldingen. Zij hoort om zich heen vaak dat mensen digitaal toetsen maken iets voor anderen (secretaresses) vinden. Er ontspint zich een discussie over ‘cultuur onder docenten’, die hier debet aan zou zijn. Er worden een paar problemen gesignaleerd: - Onderzoek wordt hoger gewaardeerd dan onderwijs; op onderzoek kan (moet) een docent zich profileren; dat is goed voor de carrière. - Bezuinigingen verhogen de werkdruk; docenten moeten in minder tijd aan meer studenten onderwijs geven. - Docenten zijn geneigd alle stof aan te bieden, en te toetsen, zodat ze kunnen zeggen dat studenten alles hebben gehad en goed kunnen afstuderen. Dit is wat Gibbs ook zegt: docenten zijn geneigd te veel stof aan te bieden, waardoor er onvoldoende tijd is om de stof te verwerken. - Alternatieve werkvormen worden ter zijde geschoven omdat ze te veel tijd wegnemen van ‘de inhoud’; in de tijd dat studenten bv bezig zijn met een peer assessment, kunnen ze geen nieuwe leerstof tot zich nemen (en ze moeten die vaardigheid ook nog aangeleerd krijgen); - Goed onderwijs maken wordt als minder belangrijk gezien dan het aanbieden van veel (alle) leerstof. - Doel en middelen matchen niet meer. Gerard wil in zijn onderwijs peer assessment gaan inzetten. Het doel is voor hem om studenten te leren leerdoelen en beoordelingscriteria te integreren in hun eigen denkraam. Door goede en foute antwoorden van anderen te bestuderen, leren ze zelf ook weer. Het draagt bij aan de verwerking van de stof en geeft studenten structurele handvatten om stof te verwerken. Inge geeft een cursus beoordelen van werkstukken. Daarbij lezen alle deelnemers dezelfde werkstukken en worden alle commentaren naast elkaar gezet. Je ziet dan, dat er heel tegenstrijdige oordelen zijn. Door de commentaren op die manier te ordenen en vervolgens te bespreken, worden deelnemers gedwongen om naar elkaars overwegingen te luisteren en na te denken over hun eigen referentiekader. Voor beide voorbeelden geldt: De essentie is om de communicatie tussen studenten/docenten op gang te brengen en bezig te zijn met de stof. Inge meldt dat Anton van de Hoeven de voorzitters van de Examencommissies (en de TAC) bij elkaar heeft geroepen voor een bijeenkomst op donderdag 28 juni. Insteek van de bijeenkomst is om ervaring uit te wisselen. Inge is erbij namens de EC GSLS en biedt aan om ook de TAC te vertegenwoordigen, aangezien geen van de aanwezige leden die dag beschikbaar is. In de notulen van april wil Christine nog een wijziging opgenomen zien; deze is aangepast. Harry: Scheikunde heeft de accreditatiecommissie op bezoek gehad. Veel commissieleden waren Vlamingen, en met name de voorzitter had expliciete opvattingen over toetsing. Dit heeft tot een vrij uitvoerige discussie geleid over ‘Het Gentse model’, waarin mondelinge examens een belangrijke rol spelen. Tijdens de uitwisselingen zijn er geen negatieve dingen gezegd over de Utrechtse opleiding en de boodschap van de overall evaluatie was ‘dat ze zich geen zorgen hoefden te maken’. Het schriftelijke rapport komt eind van het jaar. Enige commentaar kwam op het beoordelen van afstudeerwerk/masterthesen, maar dat was bekend en daar wordt aan gewerkt. Joke noemt voor de lerarenopleiding het beoordelen van de praktijkcomponent als belangrijke en lastige factor. Dat bepaalt 50% van de opleiding/het eindcijfer. Inge herkent dat probleem. Bij geneeskunde is 84% van de studiepunten praktijkstage met externe beoordeling. Scheikunde heeft het in mindere mate bij de buitenlandstages. Bij geneeskunde is inmiddels voorgeschreven dat het proces moet worden mee-beoordeeld. Maar uit de aard der zaak, beoordeelt de interne beoordelaar dit proces niet. De EC van GSLS heeft nu een casus voorliggen waarbij een praktijkstage met een 10 is beoordeeld, het schriftelijke rapport met een 6,5 (opgebouwd uit een 6 en een 7), waar nu door de weging een 8,7 gemiddeld is uitgekomen: een cum-laude-kandidaat met een 6,5 voor de scriptie. Bij wiskunde is al de afspraak gemaakt dat een docent een 9 of een 10 niet in zijn eentje mag geven; daar moet collegiale ondersteuning voor zijn. Een toetsdeskundige uit Maastricht (… Driessen) heeft al eens geadviseerd om cijfers van stage, verslag en research niet te middelen, maar uit elkaar te trekken in de verschillende competenties. Alle aanwezigen herkennen deze problematiek, die soms ook leidt tot twijfel aan de waarde van cijfers, terwijl er tegelijkertijd ook een kwaliteitstoename te zien is in cijfers. De vraag is hoe de TAC daar een rol in kan spelen om meer transparantie te krijgen in deze cijfers. In de kantlijn wordt nog gevraagd naar onderzoek dat de effectiviteit van het gebruik van rubrics voor beoordelingen ondersteunt. De ULO gebruikt rubrics als begeleidingsinstrument, maar niet als beoordelingskader. Inge is sceptisch t.a.v. het nut van rubrics als beoordelingskader, maar ziet er wel het nut van als middel om docenten met elkaar tot een meer uniform beoordelingskader te laten komen (door de discussie langs de lijnen van rubrics te voeren). Barbara zal op het COLU navragen wat er aan literatuur bekend is. 2. Discussiestuk(ken) voor examencommissies (zie bijlage); hoe nu verder? Barbara heeft een voorbeeld format gemaakt van hoe een rapportage van een toetscommissie eruit zou kunnen zien. Uitgangspunt is geweest dat de TAC niet wil voorschrijven hoe het moet, maar handreikingen wil geven voor een EC om de discussie te kunnen starten hoe zij hier zelf invulling aan wil geven. Elke EC moet vrij zijn in haar keuzes. Dat uitgangspunt – resultaat van een eerdere discussie binnen de TAC – wordt nu ter discussie gesteld. Inge en Christine melden dat EC’s juist vragen om expliciete antwoorden op hun vragen; ze hebben expertise nodig die ze zelf (nog) missen. Anderen geven aan dat er geen eenduidige antwoorden zijn en dat het juist gaat om twee-richtingen verkeer en het communiceren van best practices. De discussie resulteert uiteindelijk in de volgende conclusie: Elke opleiding moet zorgen dat de eigen EC op de hoogte is van de eisen die de opleiding stelt aan de opleiding en de eigen normen t.a.v. kwaliteitsgarantie. De EC/TC kan op basis daarvan controle uitoefenen t.a.v. het naleven van de eigen procedures. Het is niet realistisch om te denken dat de EC/TC de kwaliteit van toetsbeoordelingen individueel kan beoordelen en garanderen; het zal primair om procedurele controles gaan. Steekproefsgewijs kan je wel controleren of de theorie klopt met de (theoretische) praktijk door te kijken of het leerpad tot de eindtermen leidt en of die eindtermen daadwerkelijk getoetst worden. De EC/TC kan dus op procedures beoordelen en nagaan of de relatie tussen leerdoelen en toetsen geloofwaardig is. Ze kan niet beoordelen op inhoudelijke componenten, maar kan dat wel extern inroepen. Voor een EC is het dus belangrijk om vast te stellen op welke procedures je wilt toetsen. 3. Terugblik op het TAC-jaar 2011-12; wat hebben we gedaan, wat is er blijven liggen? Wat is de toegevoegde waarde van de TAC geweest? Van de meerwaarde van de TAC zijn de meeste leden nog niet helemaal overtuigd; de werkwijze voelt nog een beetje te zoekend, te doelloos; er is nog te weinig structuur en doel in de bijeenkomsten. Opmerkingen: - facultaire middag over toetsing was nuttig, maar rechtvaardigt niet zoveel bijeenkomsten - We moeten meer naar buiten treden met wat we doen/gedaan hebben - We moeten meer visies gaan schrijven over wat we willen al TAC; een concreet document - De opleidingen willen adviesstukken; wat moet je leveren, wat moet de faculteit of de opleiding regelen? - Wat is de meerwaarde van de TAC t.o.v. de kennis die bij het COLU aanwezig is? - De TAC heeft geen concreet aanbod, maar er zijn ook geen concrete vragen vanuit de EC/TC. Van wie moet(en) de vraag/vragen komen? - Professionaliseringstrajecten zijn te breed, te algemeen; vraag en aanbod zijn niet goed afgestemd (daar zouden we een rol in kunnen spelen?) - EC’s willen structuur in de brij van opleidingen; die kan de TAC wel leveren. Vervolgens kan je de opleidingen faciliteren om dat te realiseren. - De TAC zou wel randvoorwaarden kunnen formuleren: ‘Wat heb je minimaal nodig?’ Agendapunten 4 en 5 zijn bij gebrek aan tijd niet meer aan bod gekomen.