Standaard 3. Toetsing

Visie op toetsing

In de vernieuwde visie op toetsing krijgt competentie­gericht toetsen meer nadruk. Deze manier van toetsen beoordeelt geïntegreerd de bekwaamheid van studenten, waarbij leer- en beslisfuncties samenkomen. We gebruiken formatieve evaluaties in elke onderwijs­eenheid als didactische aanpak. Dit proces omvat zowel (informele) gesprekken tijdens lessen als geplande formele evaluatie­momenten. Competenties zijn de rode draad in deze evaluaties, waarbij gekeken wordt of studenten begrijpen waar ze naartoe werken (feed up). Daarnaast wordt besproken hoe de student tot dan toe gewerkt heeft, wat al goed gaat en waar verbetering nodig is (feedback). Op basis van feedback worden verbeter­stappen geformuleerd (feed forward). Dit proces richt zich niet alleen op het eindproduct, maar ook op het ontwerp- en leerproces en de reflectie van de student daarop. De competenties helpen om deze reflectie te structureren en te sturen en de ontwikkeling van de studenten in kaart te brengen. De docent fungeert hierbij als expert en coach die activeert en uitdaagt.

Aan het eind van de onderwijs­eenheid volgt een summatieve toets in de vorm van een portfolio­assessment. De student selecteert werk dat zijn competentie­ontwikkeling aantoont en reflecteert hierop. Door de centrale en herhalende rol van de competenties door de onderwijs­eenheid én de opleiding heen ontstaat transparantie van de toetsing. Twee docenten beoordelen de eindtoets om de betrouwbaar­heid te waarborgen. De validiteit van de toetsing bereiken we door gestandaardi­seerde rubrics waarin de competenties en indicatoren (vertaald naar de onderwijs­eenheid) ontwikkeld zijn met coördinatoren, onderwijs­kundigen en toets­commissie.

Huidige toetspraktijk

Studenten zijn tevreden bij CMD, ook wat de toetsing betreft. Zo geeft 65% van de studenten aan (zeer) tevreden te zijn over de toetsing en beoordeling. Bij CMD werken en beoordelen we op basis van een iteratief ontwerpproces, waarbij we voornamelijk processen en ontwerp­resultaten toetsen. De voornaamste toetsvormen zijn beroeps­producten, portfolio­assessments en ontwerp­opdrachten, aangevuld met enkele kennisgerichte tentamens en toetsen. De meeste opleveringen bestaan uit een minimal viable product (MVP) of werkend prototype, een design rationale, een product­biografie en vaak een reflectie. Zoals in hoofdstuk twee beschreven, bestaat het curriculum uit drie fasen: funderen, profileren en afstuderen. Naarmate de student verder komt in de opleiding, wordt er meer ontwikkelings­gericht getoetst. Deze opbouw van het toetsprogramma is als volgt vormgegeven (details over de huidige toetsing zijn beschreven in het toetsplan):

• In de fase funderen doorlopen alle studenten hetzelfde programma. Meestal leveren de studenten een product op dat wordt beoordeeld aan de hand van criteria. Per module wordt een aparte rubric gemaakt. De competenties waaraan gewerkt wordt, worden benoemd, maar spelen meestal geen rol in de beoordeling.
• In de fase profileren geeft de student zelf vorm aan het studietraject. In hun tweede jaar kiezen studenten een profilerings­project en - vak. Deze projecten zijn in 2023 omgevormd tot samenhangende modules van 15 studiepunten waar competenties een sterkere rol spelen dan voorheen. Studenten werken zowel individueel als in groepsverband maar worden (meestal) individueel beoordeeld. De fase profileren kent twee stages: een tweedejaars­stage en een lange stage. Bij beide stages wordt getoetst of de student voldoende ontwikkeling doorgemaakt heeft op competenties. In hun derde jaar kiezen studenten een themasemester minor en een vrije minor. Bij de meeste themasemester-minoren worden studenten aan de hand van competenties beoordeeld, bij een enkele nog aan de hand van criteria die gerelateerd zijn aan de competenties.
• In de fase afstuderen worden de competenties op eindniveau getoetst in het afstudeerproject dat een semester beslaat. Zie voor een uitgebreide beschrijving hiervan standaard 4 - afstudeer­proces.

Borging

De examen­commissie borgt de toetskwaliteit allereerst 'aan de voorkant' door de aanwijzing van gekwalificeerde docenten als examinatoren voor de toetsafname en beoordeling. Deze examinatoren spelen een belangrijke rol in de borging van de toetskwaliteit doordat zij veelvuldig afstemmen over de toetsing en beoordeling bij een bepaald studieonderdeel. Zij worden door de vakcoördinator geïnstrueerd over de toetsing. Om de betrouwbaarheid te waarborgen wordt de beoordelings­systematiek met het vier-ogen-principe door meer dan één docent/examinator ontwikkeld. De toetsprocedure wordt onderling afgestemd. De toetscriteria die veelal in rubrics gevat worden, worden vooraf besproken door de coördinator en docenten om zo de validiteit te borgen. Transparantie wordt geborgd door voor aanvang van ieder vak de toetsvorm, vaak een opdracht, de bijbehorende beoordelings­systematiek en deadlines op de digitale leeromgeving (Brightspace) te publiceren voor studenten. Achteraf worden de toetsen door docenten en coördinator geëvalueerd: toetst de beoordeling de aspecten die we willen beoordelen? Vooral bij geïntegreerde project/vakken is dat belangrijk inzichtelijk te hebben waar wat getoetst wordt en hoe. Ten tijde van de beoordeling hebben de examinatoren overleg over bespreekgevallen voordat de cijfers worden ingevoerd. Studenten geven in blokevaluaties aan hoe zij de toetsing hebben ervaren en deze evaluaties zijn onderdeel van de toetsmap en onderbouwing voor eventuele veranderingen.

In de praktijk borgt de toetscommissie gemandateerd door de examen­commissie een belangrijk deel van de kwaliteit van de toetsing met uitzondering van het Afstudeerproject (zie standaard 4). De toetscommissie onderzoekt (steekproefsgewijs of na signalen) de toetsmappen of toetsdossiers en de uitkomsten van de diverse evaluaties, bespreekt de uitkomsten met de betrokken vak­coördinatoren en examinatoren en rapporteert aan de examencommissie. Het management­team, de examen­commissie en de toetscommissie hebben minstens twee keer per jaar gezamenlijk overleg, waarbij ook de toetspraktijk onderdeel uitmaakt van het gesprek. In het kader van de ingezette onderwijs­vernieuwing heeft de toets­commissie daarnaast een taak in het kennisdelen met en het bevorderen van de deskundigheid van de examinatoren op het gebied van competentie- en ontwikkelings­gericht toetsen en beoordelen. Samen met de curriculum­commissie en onderwijs­kundige wordt een scholingsplan opgesteld waarin de scholings­behoeften, zoals SKE en didactisch coachen, worden vastgelegd.

Kwaliteitszorg

Evaluaties door studenten

Binnen de opleiding worden de kwaliteit en uitvoering van het onderwijs op verschillende manieren gewaarborgd en geëvalueerd in een PlanDoCheckAct-cyclus. Zowel studenten als docenten spelen hierin een rol. Elk vak, minor en project wordt aan het einde geëvalueerd door studenten aan de hand van een anonieme vragenlijst, waarin wordt gevraagd naar onder andere de inhoud, de sfeer, de toetsing en didactische vaardigheden van de docent. Daarnaast hebben docenten vaak gesprekken met de studenten, waardoor er informatie op een kwalitatieve, informele manier wordt verworven. Studenten vullen gedurende het jaar ook enkele HvA-brede en landelijke evaluaties in, namelijk de nationale studentensnquête (NSE), de 100-dagenmonitor voor eerstejaars, de EXIT-monitor voor studenten die stoppen met de opleiding en de HBO-monitor voor alumni. De resultaten van al deze evaluaties worden met docenten en studenten gedeeld en besproken met de opleidings­commissie (OC), in het management­team (MT) en met het faculteits­management (FMT).

De kwaliteits­medewerker van de opleiding verzamelt, analyseert en presenteert de resultaten binnen de opleiding in teamoverleggen en studieochtenden van zowel de bredere evaluaties als de vakevaluaties. De kwaliteits­medewerker en een vertegenwoordiger van de opleidings­commissie organiseren panelgesprekken met de klassen­vertegenwoordigers (andere studenten zijn van harte welkom bij de gesprekken). Tijdens elk panelgesprek worden één of meerdere onderwerpen binnen de opleiding belicht, zoals studentenwelzijn, aansluiting vooropleiding bij CMD of studiedruk. Door op deze manier aan de slag te gaan, bieden wij de studenten ruime mogelijkheden om open feedback te geven en met elkaar in gesprek te gaan door ervaringen te delen.

Docentenevaluatie

Onder de docenten worden door de coördinatoren van de onderwijs­eenheden verschillende zaken bevraagd. De wijze waarop dit gebeurt, varieert; denk bijvoorbeeld aan een vragenlijst, een Miro-bord of tijdens een gezamenlijke vergadering. De resultaten van de studentenevaluaties en de feedback van docenten gebruiken coördinatoren om verbeteringen door te voeren. Kleine verbeteringen worden indien mogelijk meteen in het volgende blok geïmplementeerd. Daarnaast vullen de coördinatoren een onderwijs­evaluatieformat in, dat is samengesteld door de toetscommissie. Tijdens het invullen van dit format wordt ook gekeken naar gegevens over het studierendement en de slagings­percentages, zodat de opleiding een goed beeld kan krijgen van de voortgang van de studenten tijdens de opleiding. Alle documenten worden opgenomen in de Digitale Leeromgeving (Brightspace) bij de onderwijseenheden en in een Toetsmap op Teams, die wordt beheerd door de toetscommissie. Tenslotte vullen docenten en andere medewerkers tweejaarlijks de HvA-brede Medewerkers­monitor Onderwijs en Onderzoek (MMOO) in, waarin feedback gegeven kan worden op onder andere tevredenheid over het werk, het niveau van studenten en de verwevenheid van onderwijs en onderzoek.

Reflectie

Ondanks dat studenten tevreden zijn met de huidige manier van toetsen hebben we de ambitie om in de komende vier jaar een aantal veranderingen door te voeren om de volgende redenen:

• Uit de vorige visitatie en midterm review kwamen aanbevelingen voort om de samenhang in het programma en de competenties vroeger in de opleiding in de toetsing naar voren te brengen. Tijdens de Midterm review van 2022 bleek dat het CMD toetshuis steviger kan. Een aanbeveling uit de midterm rapportage luidde: 'Zorg voor een toetsgebouw dat de student overzicht biedt, aansluit bij de kracht van de opleiding en dat als basis kan dienen voor het gesprek dat docenten en studenten voeren over de ontwikkeling van de student over de verschillende studie­onderdelen heen.'
• HvA Onderwijs en toetsbeleid (OTB): Het hoger onderwijs gaat in de toekomst verder flexibiliseren en in het HvA Onderwijs en toetsbeleid staat onder andere dat studenten regie over het eigen leerpad krijgen. Daarnaast is ontwikkelings­gericht toetsen een van de vijf afspraken uit het OTB.
• Hoewel CMD Amsterdam al veel beoordelingen in de vorm van een presentatie of mondeling doet, is door de opkomst van generatieve AI de relevantie van deze vorm van toetsen toegenomen. Om te kunnen beoordelen of een student daadwerkelijk groei in competenties laat zien, is het volgen van, en in gesprek gaan over, het leerproces belangrijk. Dit gebeurt tijdens formatieve momenten, en door de student te bevragen tijdens summatieve beoordelingen.
• De vernieuwde visie op toetsing sluit deels aan bij de huidige toetspraktijk zoals de gang van zaken bij het afstuderen, stages en de (meeste) CMD-thema­semesters en minoren. De toetsing in het fundament wordt de komende jaren in lijn hiermee gebracht.

Ambities

Binnen CMD worden leren en toetsen steeds meer met elkaar verweven. Toetsing wordt steeds meer een leermoment door het gebruik van formatieve evaluatie en feedback binnen ons onderwijs en de competenties worden in iedere onderwijsmodule zichtbaar gemaakt. Afbeelding 3.2 laat de situatie zien waar we naar toe werken: onderwijs­modules van minimaal 15 studiepunten waarbij duidelijke leerlijnen, geplande formatieve evaluatie­momenten en summatieve assessments aan het einde van een onderwijs­module de uitgangspunten zijn. De competentie­gerichte toetsing die we in het afstudeerjaar en bij de (meeste) CMD verdiepende minoren gebruiken voeren we eerst door naar het tweede jaar en later ook naar het eerste jaar, door de onderwijs­eenheden te vergroten, door formatieve evaluatie­momenten meer centraal te stellen en door leercoaches (zie standaard 2 - ambities) te introduceren. Het doel is om meer nadruk te leggen op een kritisch ontwerphouding, de ontwikkeling op competenties inzichtelijk te maken en aan te sluiten bij het HvA Onderwijs- en toetsbeleid.

Pilot

Naar deze veranderingen werken we stapsgewijs toe. In februari 2024 is een pilot in het tweede semester van jaar 2 gestart. Deze pilot richt zich op competentiegericht leren en toetsen en is gepland aan het begin van de profilering, omdat het afstudeerjaar en de (meeste) CMD minoren al competentie­gericht zijn. De profileringsblokken zijn door een aantal docenten onder leiding van de curriculum­commissie, jaarcoördinator en onderwijs­kundige in lijn met de visie ontwikkeld. Na de pilot is geëvalueerd met studenten en docenten.

Evaluatie pilot

Voor de pilot zijn vragen ontwikkeld voor de panel­gesprekken met studenten en docenten vanuit de vernieuwde visie en de uitgangspunten van de onderwijs­ontwikkeling. Deze vragen zijn in vier clusters verdeeld:

• Overstap naar grote onderwijs­eenheden
• Didactiek o.b.v. formatief evalueren
• Competentie­gericht toetsen
• Werkdruk en studiedruk

Hiermee wilden we voor de kwaliteitscyclus een valide meet- en reflectieinstrument maken en checken of we behalen wat we beoogd hebben met onderwijs­ontwikkeling. Eén van de doelen van de nieuwe opzet was de kritische ontwerphouding door meer ruimte te creëren voor het experiment. Bij de blokenquête onder studenten is daar ook specifiek naar gevraagd en gaf 84% aan het eens of zeer eens te zijn met de stelling "ik voelde ruimte om te experimenteren en fouten te maken". Dat is een hele mooie opbrengst en daarmee is één van de belangrijkste doelen gehaald.

Er zijn ook nog verbeterpunten uit de evaluatie van de pilot gekomen. Competentie­gericht toetsen wordt door veel docenten nog wel als een uitdaging gezien. Een deel van de docenten vraagt om meer scholing hierin en daarnaast is er behoefte aan tijd en ruimte voor kalibratie tussen docenten onderling. Ook over het vastleggen van de feedback moeten de best practices gedeeld worden.

Vernieuwing

Onze ambitie is om uiteindelijk in het hele CMD-curriculum competentiegericht te toetsen, waarbij we rekening houden met de functie van de betreffende fases (fundament, profilering en afstuderen). Dit betekent onder andere dat de overdracht tussen verschillende onderwijseenheden belangrijker wordt en dat een leercoach een rol krijgt in het begeleiden van studenten tijdens hun competentie­ontwikkeling (zie afbeelding 3.2). We werken toe naar een toetsgebouw waar de ontwikkeling en het niveau van de competenties centraal staan. We willen meer transparantie in toetsing krijgen door onze rubrics te standaardiseren, waarbij we uitgaan van de competenties en indicatoren (vertaald naar de onderwijseenheid). Hiermee doen we een geïntegreerde uitspraak over de bekwaamheid van studenten. We zijn hier nog niet: dit is een proces waarmee we in jaar 4 begonnen zijn, een pilot in jaar twee semester twee voor gedaan hebben en dat we de komende jaren ook in het fundament invoeren.

Lees verder

Standaard 4 - Gerealiseerde leerresultaten