Wetenschapper stelt vooroordeel van juryleden vast

Moderators: Essie73, NadjaNadja, Muiz, Telpeva, ynskek, Ladybird, Polly

Toevoegen aan eigen berichten
 
 
Cayenne
Crazy Bird Lady en onze Berichtenkampioen!

Berichten: 115277
Geregistreerd: 08-08-03
Woonplaats: Haaren (NB)

Wetenschapper stelt vooroordeel van juryleden vast

Link naar dit bericht Geplaatst door de TopicStarter : 29-10-09 07:54

www.horsetelex.nl


Dr David Stickland heeft gisteren op het Global Dressage Forum laten zien dat FEI-juryleden lijden aan zoiets als een combinatie-vooroordeel. Het juryoordeel verliest in z'n algemeenheid aan consistentie door toedoen van de persoonlijke opvattingen van het jurylid.

Stickland, kernfysicus van beroep, adviseert de FEI over mogelijke aanpassingen van het jurysysteem. De Brit heeft de database van Dressagedirect statistisch geanalyseerd en komt tot opvallende conclusies. Zo heeft hij de reële uitslagen van een Grand Prix-dressuurwedstrijd vergeleken met een fictieve uitslag, namelijk een uitslag die is opgebouwd uit de onderdelen van random gekozen uitslagenstaatjes. Voor onderdeel 1 (Halthouden & Binnenkomen etc.) werden de cijfers genomen die de vijf juryleden hadden gegeven aan (bijvoorbeeld) Edward Gal, voor onderdeel twee kwamen de cijfers op het fictieve lijstje te staan die Monica Theodorescu voor onderdeel 2 had gescoord bij diezelfde juryleden, enzovoorts.

Toen Stickland de fictieve lijst statistisch vergeleek met de werkelijke uitslagenstaatjes, viel op dat de juryleden in de fictieve beoordeling met 1.1% dicht bij de ideale afwijkingsgraad van 0.5% zaten. Maar in werkelijkheid scoorden ze met een afwijkingsgraad van 1.7%, volgens Stickland een zeer aanzienlijk verschil.

De Brit kon maar één verklaring voor dit verschijnsel geven: 'combination bias', het vooroordeel dat een jurylid heeft ten aanzien van een bepaalde ruiter-paard-combinatie. Stickland liet ook zien dat dit vooroordeel per punt niet zozeer opvalt, maar dat het verschil cumulatief (bij elkaar opgeteld) tot grote verschillen kan leiden.

Een mooi voorbeeld daarvan was Imke Schellekens-Bartels, die op het EK in Windsor door Eric Lette zo ongeveer onderaan en door de Pool Markowski in de hoogste regionen geplaatst werd.

horseyfries
Berichten: 8931
Geregistreerd: 22-08-03
Woonplaats: Lichtaart België

Re: Wetenschapper stelt vooroordeel van juryleden vast

Link naar dit bericht Geplaatst: 29-10-09 07:58

De feiten in dit verhaal kloppen niet helemaal. Zo heeft hij die fictieve uitslag gemaakt met uitslagen van één van de vijf juryleden per onderdeel en niet van alle vijf, en was de afwijking dan niet 1.1 % maar 1 %.
Die 1.1 % is hetgeen de juryleden gescoord hebben in Windsor, waar dus extreem goed gejureerd is als je het zo bekijkt.
Normaal scoorden ze immers rond de 1.7 %.

patiepatoe
Berichten: 13
Geregistreerd: 11-10-09

Link naar dit bericht Geplaatst: 29-10-09 08:43

tja die dressuurwedstrijden rijdt, weet dit al lang dat jury's vooroordelen hebben. Een onbekende combinatie en een bekende combinatie die net dezelfde figuur rijden kan 2 tot 3 punten verschillen.
Hoe kan een combinatie die van de ene jury 57% krijgen en van de andere 66%? En dit komt heel vaak voor, gewoon niet te geloven. Wat ziet de een dat de andere niet ziet? 2 tot 3 % verschil gaat nog, maar bijna 10%? Maarja dressuur is een jurysport. |(

Bonechi_

Berichten: 2187
Geregistreerd: 05-02-05

Link naar dit bericht Geplaatst: 29-10-09 08:45

horseyfries schreef:
De feiten in dit verhaal kloppen niet helemaal. Zo heeft hij die fictieve uitslag gemaakt met uitslagen van één van de vijf juryleden per onderdeel en niet van alle vijf, en was de afwijking dan niet 1.1 % maar 1 %.
Die 1.1 % is hetgeen de juryleden gescoord hebben in Windsor, waar dus extreem goed gejureerd is als je het zo bekijkt.
Normaal scoorden ze immers rond de 1.7 %.


Heb je het onderzoek er op nageslagen? Zoja, kun je een link plaatsen naar het originele document?

Arabesk

Berichten: 28703
Geregistreerd: 19-03-04
Woonplaats: Aan de dijk tussen Hoorn en Enkhuizen

Re: Wetenschapper stelt vooroordeel van juryleden vast

Link naar dit bericht Geplaatst: 29-10-09 08:45

Hierbij is het wetenschappelijke bewijs geleverd dat jury-sporten zuigen :+

Arnyek
Berichten: 643
Geregistreerd: 09-09-04

Link naar dit bericht Geplaatst: 29-10-09 09:12

Bonechi_ schreef:
horseyfries schreef:
De feiten in dit verhaal kloppen niet helemaal. Zo heeft hij die fictieve uitslag gemaakt met uitslagen van één van de vijf juryleden per onderdeel en niet van alle vijf, en was de afwijking dan niet 1.1 % maar 1 %.
Die 1.1 % is hetgeen de juryleden gescoord hebben in Windsor, waar dus extreem goed gejureerd is als je het zo bekijkt.
Normaal scoorden ze immers rond de 1.7 %.


Heb je het onderzoek er op nageslagen? Zoja, kun je een link plaatsen naar het originele document?


Ze was, als ik het goed gevolgd heb, ook aanwezig in de zaal en de journalist van horsetelex heeft kennelijk niet alles goed verwoord...

Sjoert

Berichten: 35960
Geregistreerd: 29-07-04
Woonplaats: De rug

Link naar dit bericht Geplaatst: 29-10-09 11:05

horseyfries schreef:
De feiten in dit verhaal kloppen niet helemaal. Zo heeft hij die fictieve uitslag gemaakt met uitslagen van één van de vijf juryleden per onderdeel en niet van alle vijf, en was de afwijking dan niet 1.1 % maar 1 %.
Die 1.1 % is hetgeen de juryleden gescoord hebben in Windsor, waar dus extreem goed gejureerd is als je het zo bekijkt.
Normaal scoorden ze immers rond de 1.7 %.



Klopt!!

1.1% juryverschil op het EK is enorm goed..

Het weglaten van een een willekeurig jurylid had overigens geen invloed op de uiteindelijke plaatsing van iig de top zeven in Windsor.

kamille
Berichten: 471
Geregistreerd: 18-07-09

Link naar dit bericht Geplaatst: 31-10-09 00:19

Ik begrijp het niet eigenlijk. Wat bedoelen ze met fictieve uitslagen? Kan iemand het uitleggen?

MelanieB

Berichten: 25887
Geregistreerd: 06-08-06
Woonplaats: Lathum (GLD)

Link naar dit bericht Geplaatst: 31-10-09 00:23

Arabesk schreef:
Hierbij is het wetenschappelijke bewijs geleverd dat jury-sporten zuigen :+

Hé, voor het eerst ben ik het een keer met je eens. :Y)

horseyfries
Berichten: 8931
Geregistreerd: 22-08-03
Woonplaats: Lichtaart België

Link naar dit bericht Geplaatst: 31-10-09 18:22

kamille schreef:
Ik begrijp het niet eigenlijk. Wat bedoelen ze met fictieve uitslagen? Kan iemand het uitleggen?


Uitslagen maken die niet echt zijn, door voor de punten van de onderdelen van een proef constant een andere uitslag te nemen, dus bijv. voor het eerste onderdeel binnenkomen neem je de punten van ruiter A van jury C op dat onderdeel, voor het volgende onderdeel neem je de punten van ruiter B van jury E voor dat onderdeel, en zo maak je een uitslag van een proef met al zijn onderdelen.