NIP

Beoordelingsprocedure

De COTAN beoordeelt de kwaliteit van psychodiagnostische instrumenten. Dit zijn bijvoorbeeld tests, vragenlijsten en observatieschalen. Met het COTAN Beoordelingssysteem (pdf) worden tests beoordeeld aan de hand van zeven criteria. Het beoordelingssysteem is in de loop van de jaren uitgebreid met diverse addenda’s.

Beoordelingscriteria

Aan de hand van het Beoordelingssysteem (pdf) worden tests beoordeeld op zeven criteria:

  1. Uitgangspunten van de testconstructie
  2. Kwaliteit van het testmateriaal
  3. Kwaliteit van de handleiding
  4. Normen
  5. Betrouwbaarheid
  6. Begripsvaliditeit
  7. Criteriumvaliditeit

Aanmelden en insturen

Voorwaarden

De COTAN neemt een test in de beoordelingsprocedure op als:

  • De test voor het Nederlands taalgebied is geconstrueerd, vertaald en/of bewerkt.
  • De afnameprocedure gestandaardiseerd is.
  • De validiteit, de betrouwbaarheid of de normen zijn onderzocht.
  • Het instrument voor professioneel gebruik ontwikkeld is.
  • Het instrument direct of indirect uitspraken over personen mogelijk maakt.

 

Aanmelden

Vul het online aanmeldformulier in. Stuur vervolgens de test in drievoud naar de COTAN (adres: Arthur van Schendelstraat 650, 3511 MJ Utrecht). Stuur daarnaast overig materiaal mee dat relevant is voor de beoordeling. Denk hierbij aan:

  • Handleiding
  • Technische verantwoording
  • Normtabellen (indien niet opgenomen in de handleiding of verantwoording)
  • Antwoordformulieren
  • Scoringssleutels
  • Artikelen
  • Rapporten
  • Dissertaties
  • USB-sticks of andere informatiedragers (bij digitale tests)

In uitzonderingsgevallen kan het testmateriaal op locatie worden beoordeeld. Denk hierbij aan moeilijk verplaatsbaar testmateriaal of materiaal dat specifieke eisen stelt aan computers. Bij online tests lever je drie aparte logins (cotan1, cotan2 en cotan3) met wachtwoorden aan.

Beoordeling

1. Twee beoordelaars

Na ontvangst gaat het materiaal onder strikte geheimhouding naar twee beoordelaars met inachtneming van de richtlijn onpartijdigheid COTAN (pdf). Het toegezonden materiaal wordt nooit uitgeleend, of aan derden ter inzage gegeven. Het wordt uitsluitend gebruikt voor de beoordeling door de COTAN en voor de beschrijving van het instrument in de COTAN Documentatie. Vervolgens wordt het materiaal opgeslagen in het COTAN-archief.

2. Anonieme beoordeling

De beoordelaars verrichten onafhankelijk van elkaar een anonieme beoordeling. De beoordelaars worden uitgezocht op deskundigheid en objectiviteit. Auteurs beoordelen nooit hun eigen tests en zijn niet werkzaam bij het bedrijf of de instelling die de test heeft ontwikkeld of een concurrerend bedrijf of instelling.

3. Voorleggen discrepanties

De beoordelingen worden voorgelegd aan de Senior Eindredacteur Testaangelegenheden van de COTAN. De eindredacteur bespreekt eventuele discrepanties in de beoordelingen met de beoordelaars. Indien nodig schakelt de eindredacteur een derde deskundige/beoordelaar in.

4. Versturen initiële beoordeling

Nadat de initiële beoordeling is vastgesteld wordt deze met een Toelichting verstuurd naar de indiener. De indiener kan hierop reageren met inachtneming van daarvoor vastgestelde richtlijnen (pdf).

5. Definitieve beoordeling

De beoordelaars en de eindredacteur stellen naar aanleiding van een reactie van een testuitgever of testauteur de definitieve beoordeling op. Deze wordt gepubliceerd in de online COTAN Documentatie.

6. Herbeoordeling

Als nieuwe onderzoeksgegevens beschikbaar komen of wanneer er een nieuwe, herziene handleiding verschijnt, kan een herbeoordeling nodig zijn. De hierboven geschetste procedure wordt daarbij in zijn geheel opnieuw doorlopen. Een herbeoordelingsprocedure kan niet eerder plaatsvinden dan tenminste een jaar na afronding van de voorafgaande beoordeling.

 

Aanvullingen COTAN Beoordelingssysteem (addenda)

Door o.a. ontwikkelingen op het gebied van testconstructie heeft de COTAN in 2015 het Beoordelingssysteem (pdf) uitgebreid met twee addenda. Ook zijn de tabellen voor de vaststelling van het eindoordeel van een aantal criteria aangepast. In 2018 is een van de addenda herzien en is er een nieuw addendum toegevoegd. In 2021 zijn de tabellen voor de vaststelling van het eindoordeel voor Domeingerichte interpretatie en Criteriumgerichte interpretatie van het criterium Normen gewijzigd, in lijn met de wijzigingen die in 2015 zijn doorgevoerd.

De addenda met betrekking tot unproctored gegevensverzameling, actualisatie instrumenten, fairness en de gewijzigde tabellen:

 

Terug naar boven