YT YouTube2Text

YouTube2Text → Transcripts → Kapitel 4 Teil 2 Messen und Bewerten im Pädagogischen Kontext

Kapitel 4 Teil 2 Messen und Bewerten im Pädagogischen Kontext — Transcript

by Markus Gebhardt · 5,391 words · 889 segments · language en · Watch on YouTube

Open in transcriber Summarize with AI Download SRT/VTT

Full transcript

0:00servus und hallo wir sind bei Normen
0:02angelangt und Normen brauche ich immer
0:04dann wenn ich eben einen bestimmten Fall
0:08mit einer Alters oder klassennorm
0:10vergleichen will also meistens wenn ich
0:12ein Gutachten schreibe irgendwas
0:14besondere feststelle eine besondere
0:16Schwierigkeiten soonder einer
0:17pädagogischen Förderbedarf dann brauche
0:19ich so eine Alters oder klassennorm und
0:23damit ein Test das hat ist es meistens
0:26eben so ein Schulleistungstest den ich
0:28kaufen muss es gibt wenige Verfahren die
0:30Normen haben die ich nicht kaufen muss
0:33einfach deswegen weil so
0:35schulleistungsnormen sehr teuer sind vor
0:37allem dann wenn ich mehrere Bundesländer
0:40habe und dann z.B alle neunten Klassen
0:43in allen Bundesländern messen soll in
0:45allen verschiedenen Schularten am besten
0:47noch zu mehreren Zeitpunkten also
0:49vielleicht am Anfang der 9 oder am Ende
0:51der 9 und dann halt auch eine Stichprobe
0:54braucht die so ist dass ihr verschiedene
0:57Länder ich miteinander vielleicht
0:58verrechnen kann also nicht dass da
1:00irgendein systematischer Fehler von
1:02Schulart oder Bundesland oder was auch
1:05immer da drin sein könnte drin ist
1:07dementsprechend ist es wichtig dass die
1:09Zahlen größer sind wenn sie sich also
1:11jetzt in die testothek begeben und sie
1:13schauen sich mal die verschiedenen Tests
1:15an W sehen sie dass ganz häufig diese
1:18normmen eine Stichprobe haben also eine
1:21ganz normale Studie wo der Test einmal
1:23durchgeführt wird am besten in den
1:25ersten beiden Schulstunden damit die
1:27Personen ja auch wach wurden und aktiv
1:30eben gut mit besten Leistungen diesen
1:32Test bearbeiten und dann brauche ich
1:34halt 3000 oder 1000 oder wie viel auch
1:37immer Schülerinnen und Schüler um
1:39eigentlich noch ein Ergebnis zu haben
1:41was repräsentativ ist und da kommen wir
1:44schon zu dem Punkt na ja wir sind in der
1:47Förderschule wir sind ja anders wie
1:49andere ist denn die Norm auch für mich
1:51gültig dann lautet die Antwort nee also
1:54einfach nein wenn in der normstichprobe
1:57nicht ausreichend Förderschulen auch
1:59sind dann gibt es sozusagen keine eigene
2:02förderschulnorm sondern dann muss mir
2:04einfach bewusst sein ich habe nur eine
2:06Altersnorm oder eine Klassenstufen Norm
2:08und die Norm wird immer über alle
2:10gerechnet und dann es wird halt in dem
2:13Fall eine Förderschule mit dem Gymnasium
2:15verglichen wenn das Gymnasium in der
2:17Norm auch dran vorkommt und dann gibt's
2:20halt keine spezifischen zahlen sondern
2:22es gibt eben ein Vergleich über diese
2:25Altersgruppe oder über diese
2:27Klassenstufe und zwar über alle und wenn
2:31ich das brauche in meinem Gutachten also
2:33wenn ich wissen will ob diese
2:35Schülerinnen und Schüler eben im
2:37Vergleich so und so zur Altersnorm
2:39stehen dann benötig ich das ansonsten
2:42kann ich auch einfach mit den ruhwerten
2:44schauen oder schauen wie ist es in den
2:46einzelnen Studien ist es eine
2:48normverteilung oder nicht und schauen
2:50wir das dann im Einzelnen an nun haben
2:52wir aber ein normierten Test vorliegen
2:55wir haben also sogenannte Rohwerte im
2:57Ergebnis und ich möchte das jetzt mit
2:59anderen vergleichen dann muss ich hinten
3:01in dieses testbuch meistens schauen
3:03sagen okay ich nhme die Altersnorm oder
3:06was auch immer und gehe dann runter das
3:09Ergebnis und bekomme dann meistens einen
3:12Normwert also ich habe einen Rohwert und
3:14der wird umgerechnet in einen Normwert
3:17und das kann jetzt z.B ein T-Wert sein
3:21oder ein zsore ist es meistens nicht
3:24meistens sind noch die perzentile
3:26angegeben und das ergibt sich dann halt
3:28je nachdem wo die normstichprobe ist und
3:33sich verteilt das ist meistens eine
3:35Normalverteilung und der Mittelwert
3:38dieser Stichprobe der ist eben dann
3:40genau hier und hat den twert 50 und die
3:45Standardabweichung jetzt W ich eine
3:47Normalverteilung habe habe ich nur zwei
3:49Informationen die reichen mir um diese
3:51Kurve zu beschreiben dann habe ich neben
3:54dem Mittelwert auch die
3:55Standardabweichung sprich wir sind bei
3:57intervallskalierung und diesmal hier
4:00also Prozentrang 4 84 oder
4:0415,9 und das ergibt einen twert von 40
4:08oder 60 und jetzt je nachdem wie eben
4:11die
4:12rohwerteverteilung ist und meine Person
4:15hat den Rohwert x und der W jetzt nehmen
4:17wir mal an einfach hier dann gehe ich s
4:20weit runter und Krieg dann in der
4:21Tabelle gesagt na ja also das wä jetzt
4:23der folgende twert z.B 45 und dann weiß
4:28ich Bescheid und man kann diese
4:30verschiedenen Normen auch untereinander
4:34verrechnen und das ganze sehen Sie hier
4:36von den Aufgaben indem ich z.B den
4:39Prozentrang habe der ist ein
4:40dementsprechender T-Wert der kann ein uq
4:43wert sein dann ein zwert oder dieser
4:47Wert es gibt also ganz verschiedene
4:49Werte es gibt auch noch viel mehr aber
4:51ich habe mal jetzt einfach die genommen
4:53die in den meisten Tests irgendwie
4:55vorkommen und die kann ich e verrechnen
4:58ich habe diese das Beispiel was ich
5:00gerade gesagt habe mit dem fiktiven Kind
5:02Angelo den sie noch aus dem ersten
5:05Beispiel kennen und dann habe ich mir
5:06den aktuellen demma 2 genommen was ja
5:09ein Schulleistungstest ist mit einer
5:10klassennorm und habe dann angeschaut
5:13wenn ich also folgenden rohert habe was
5:16kommt denn dann raus und dann kommen
5:18hier die einzelnen Prozentränge raus die
5:21ich bekomme wichtig ist aber eigentlich
5:24dieses Ergebnis des
5:25twererts und da sehe ich Angelo hat also
5:3021 Aufgaben gelöst von insgesamt 36 das
5:35bedeutet er entspricht einem Prozentrang
5:38ziemlich in der Mitte hat ja auch die
5:40mittleren Aufgaben gelöst das ist ein
5:43twert von 50 mit einem Messbereich wo
5:46der wahre Wert liegen würde zwischen 47
5:50und 53 und was mir jetzt ganz wichtig
5:53ist noch mal zu betonen immer dann wenn
5:56twert und dieser t-wertbereich also
5:58dieses Konfidenzintervall weil angegeben
6:00ist dann sind die Ergebnisse eigentlich
6:01fürs Gutachten wirklich brauchbar auf
6:03die kann ich mich dann wirklich berufen
6:05wenn ich jetzt eher aus Sinne eines
6:08Profils mir überlegen will wo sind denn
6:11die Stärken und Schwächen von Angelo
6:14dann kann man das schon so machen dass
6:15man sich das hier anschaut aber dann
6:17würde ich das jetzt eher als Screening
6:19sehen und nicht als wirklichen
6:22multidimensionalen Test weil einfach
6:25zwei Aufgaben oder vier Aufgaben
6:28wirklich wenig sind und dementsprechend
6:30wird auch hier zwar ein Prozentrang
6:33angegeben aber gar kein
6:35prozentrangbereich also ich weiß dann
6:37was dieser Person sollte eigentlich so
6:40und so viele Aufgaben lösen um in dem
6:43und dem Bereich zu sein aber ja die
6:46Aussagen von verdoppeln und halbieren da
6:48hat er halt zwei von dreien und im
6:50Prozentrang ist er da ein bisschen
6:52niedriger also die meisten lösen da wohl
6:54anscheinend alle Aufgaben die einen
6:57Prozentrang an sich von 50 haben der wä
7:00dann praktisch höher aber so so genau
7:03dass der dass die Person jetzt da eine
7:05Schwäche hätte würde ich nicht
7:07interpretieren weil ich habe ja
7:09logischerweise den Fall auch so fiktiv
7:11konstruiert dass ich mir dachte ich
7:13versuche immer möglichst die Mitte zu
7:14treffen und damit merken sie schon umso
7:17weniger Informationen ich vorle umso
7:19mehr schwanke ich und ich persönlich
7:21würde jetzt schon behaupten ich soll
7:23schon mindestens fünf Items in dem
7:25Bereich haben damit der Test überhaupt
7:27gut misst und wenn es halt weniger ist
7:29und Sie merken ja kann verdoppeln oder
7:31halbieren nicht dann sollten sie halt
7:33bitte noch mal einzeln nachschauen ob
7:35das jetzt wirklich der Fall ist und wenn
7:37Jan welchen Schwierigkeitsbereich kann
7:40er denn verdoppeln oder halbieren kann
7:41er es halt gar nicht oder wie weit muss
7:44ich danach gehen also diese Testbereiche
7:46und dieses Profil ist wichtig für die
7:49Förderdiagnostik aber für das Gutachten
7:52sind vor allem Bereiche wichtig die nen
7:55Konfidenzintervall angeben weil auf die
7:57kann ich mich wirklich verlassen weil es
7:59hier genug Informationen gibt nun bin
8:01ich beim Kapitel 4.7 angelangt
8:04Grundlagen der Testtheorie ich habe
8:05schon viel über systematisch und
8:07unsystematischen Fehler geredet und ich
8:09weiß dass das jetzt ungefähr die
8:11schwierigste Kost für Lehrer ist daher
8:13habe ich dieses Kapitel einfach noch mal
8:14geschrieben in Anlehnung an das Kapitel
8:17das Michael Schurig und ich schon im
8:19großen Herausgeberband geschrieben hat
8:21weil Michael fand ich hat es da schon
8:23super erklärt und sie können dieses
8:25Kapitel gern lesen ich dachte mir ab
8:27noch ich versuche das noch mal einfacher
8:28zu schreiben um es einfach maximum kurz
8:31und einfacher zu sagen damit habe ich
8:33natürlich viel vereinfacht und falls es
8:35genauer interessiert bitte ich Sie lesen
8:38Sie einfach die einführungswerke zur
8:39Testtheorie die haben das viel besser
8:41beschrieben wie ich ich habe es hier
8:43maximal kurz ausgedrückt und im
8:46Endeffekt geht es um diese einfache
8:48Formel es gibt also eine beobachte
8:51Merkmalsausprägung einer Person die sich
8:53aus den Komponenten des waren Merkmals
8:55in einem zufälligen Messfehler bezieht
8:58und dieser zufällige Messfehler ist ganz
9:00wichtig dass er zufällig ist und nicht
9:02systematisch weil dann gilt das ganze
9:03halt einfach nicht also ganz wichtig ist
9:06dass diese Fehler einfach nicht
9:07korrelieren so kann man das am
9:09einfachsten ausdrücken immer dann wenn
9:11die Fehler korrelieren also nicht nur
9:12bei ein und zwei Items weil ich ähnlich
9:15gemacht habe sondern es in irgendeiner
9:17Form systematischen Fehler gibt dann
9:19habe ich ein Problem und diese einfache
9:22grundlegenden Annahmen der Testtheorie
9:25kann ich eben mittlerweile auch mit
9:27höheren statistischen Methoden prüfen
9:29und wenn ich bei der
9:31fragebogenkonstruktion bin habe ich
9:32schon genannt das ist das
9:34strukturgleichungsmodell was die
9:36Personen eben aber noch wissen müssen
9:38ist dass es mittlerweile diese item
9:41response theory ist also praktisch die
9:44probabilistische Testtheorie die von
9:46einem wahrscheinlichkeitsmodell ausgehen
9:48und da geht es immer um die Frage wie
9:51wahrscheinlich ist es dass ich mit
9:53dieser Kompetenz dieses eine item lösen
9:56kann und daher wird die item response
9:59theory ganz häufig dann verwendet wenn
10:02ich einen Test habe mit ganz vielen
10:04Items und ich kann damit prüfen ob jetzt
10:07der Test ähnliche
10:10schwierigkeitsgenerierende Merkmale hat
10:12die für alle Personengruppen ähnlich
10:15sind oder nicht also ob in dem Fall
10:18diese dieser Test fair ist für alle oder
10:21gibt's da vielleicht einzelne Items oder
10:23einp Gruppen die für die eine Gruppe
10:26anders schwierig ist wie für die anderen
10:29und um das zu haben unterteilt die item
10:32response theory im Endeffekt zwei
10:35verschiedene Gruppen nämlich einmal
10:37schaue ich mir an erster Linie die item
10:39Parameter an die errechne ich sozusagen
10:41anhand meiner
10:43empiri und auf der zweiten Ebene je
10:47nachdem welches Verfahren ich habe
10:48schätze ich oder berechne ich daraus die
10:51personenparameter ich habe also aus dem
10:54selben empirischen Ergebnissen zwei
10:56verschiedene Merkmale zuerst die item
10:58paramet
10:59und die personenparameter und dadurch
11:02dass ich die beiden getrennt voneinander
11:04habe kann ich mir so eine Person item
11:06Map
11:07bilden manche nennen das raschbaum und
11:11für uns im Bereich der Sonderpädagogik
11:13ist es halt einfach wahnsinnig wichtig
11:15weil die meisten Tests nicht unsere
11:17Personengruppe treffen und genau diese
11:20Frage kann ich damit eben noch viel
11:22besser erklären wie wenn ich es mir
11:24jetzt einfach deskriptiv auf manifester
11:26Ebene anschaue dann kann ich das
11:27natürlich auch sehen aber so ist es viel
11:30besser weil ich noch diese
11:31antwortpattern habe und auch noch auf
11:34itemebene dann überlegen kann passt das
11:37zu meiner Stichprobe und ich habe hier
11:39jetzt zwei Messzeitpunkte einmal
11:41Messzeitpunkt 1 einmal Messzeitpunkt 5
11:43ist derselbe Test sind also dieselben
11:45Items und sie sehen hier die
11:47verschiedenen item Pools die ich
11:49zueinander gruppiert habe das sind jetzt
11:511 2 3 4 5 verschiedene aufgabengruppen
11:55und wir haben hier praktisch die item
11:57Parameter und die sehen Sie hier messen
12:01eben diesen
12:03personenparameterbereich besonders gut
12:05einmal eben die Personen zum
12:07Messzeitpunkt 1 anhand dieser logitskala
12:10und einmal zum Messzeitpunkt 5 sie
12:13merken also die sind im messzeitp 5
12:16deutlich besser geworden da gibt's Leute
12:18die sind hier da sind sie hier in dem
12:20Bereich noch nicht und es fehlen auch
12:23Leute hier unten die sind sozusagen auch
12:25besser geworden jetzt ist genau die
12:27Frage ist das der Test überhaupt und die
12:29Antwort ist nö also nicht so wirklich
12:32gut zumindestens nicht als reiner
12:34powertest wo es ja nur um die
12:36Schwierigkeit geht und nicht um eine Art
12:38Zeitfrage in irgendeiner Form weil die
12:41Items messen eigentlich alle hier in
12:43diesem
12:44Bereich und dann sind sie pro Dimension
12:47weil das sind in dem Fall die einzelnen
12:49Dimensionen aufsteigend und das hier ist
12:52glaube ich adieren subtrahieren glaub
12:54multiplizieren und dividieren ist da
12:56auch noch dabei und noch irgendwas
12:58anderes ich bin mir jetzt sel gerade
12:59nicht sicher weil das die kurrikularen
13:01Aufgaben waren und da wäre die Idee eben
13:04was ist der leichte und was ist jetzt
13:06das schwierige item und die Hoffnung
13:08wäre ja eigentlich dass ich das anhand
13:10meiner Dimensionen oder zumindestens
13:11anhand meiner generierenden Merkmale
13:13klären könnte und dann lautet die
13:15Antwort nee also hier ist eins leicht
13:18und da ist eins schwer aber hier ist
13:20auch eins leicht und da ist auch eins
13:21schwer und so sieht es auch aus und das
13:24ist immer dann wenn die Tests nach
13:25klassischer Testtheorie konstruiert
13:27werden in verschiedenen Dimensionen und
13:29verschiedenen Bereichen dass es halt
13:31leider überhaupt gar keine aufsteigende
13:33Linie ist so richtig wenn ich mir das
13:34jetzt nach item response theory
13:36vorstelle wünsche ich mir eigentlich ein
13:38Test der hier so eine Art Linie hat die
13:40sauber
13:41aufsteigt und das ist hier einfach
13:44leider nicht der Fall und daher die
13:47Grundfrage ist der Test gut oder ist der
13:49Test nicht so gut dann würde ich sagen
13:50der Test ist schon in Ordnung weil er
13:53macht das was die Lehrer wollen nämlich
13:54diese verschiedenen Rechenarten umfassen
13:57und er hat eben einen klaren Messbereich
13:59hier und vermutlich ist es der
14:02Zahlenraum und man hätte eigentlich
14:04besser den Zahlenraum bearbeiten sollen
14:06weil er vielleicht relevanter wäre für
14:08die einzelnen Schwierigkeiten aber se
14:11ein kurrikularer Test und jetzt merken
14:13Sie das Problem eines testentwicklers
14:15nur weil er weiß wie ein Test leichter
14:17oder schwieriger geht ist es jetzt für
14:19die Lehrer manchmal nicht die wichtigste
14:21Botschaft weil die wollen halt das
14:23kurrikulum und nicht den Zahlenraum
14:25haben also man müsste den Test
14:27vielleicht noch ein bisschen anders
14:28grundlegen aufbauen damit das sozusagen
14:31so eine schönere Linie ergibt und das
14:33ist vor allem ganz wichtig für
14:36lernverlaufsdiagnostik oder Tests die
14:38ich vielleicht auch halbjährlich
14:39durchführe die also verschiedenen
14:41aufsteigenden Kompetenzbereichen
14:44Messe und für einen Test der jetzt
14:46einfach nur statusdiagnostik hat das ist
14:48wurscht weil na ja dann genügt der
14:50eingeschränkte Messbereich auch weil die
14:52meisten Personen da dran sind und ich
14:54habe ja auch vorher gesprochen was ist
14:56denn mit den hochbegabten oder mit den
14:57Personen mit wahnsinnigen
14:59Schwierigkeiten und warum kann ich jetzt
15:00diesen matthos oder diese
15:03kompensatorischen Effekte von schulecau
15:05Messen ja es liegt halt daran dass der
15:07Messbereich von dem Test einfach aufhört
15:10oder was noch schwieriger ist in denen
15:12anderen dimensionsbereich vielleicht
15:14reingeht also dass es gar nicht mehr
15:15dasselbe latente Merkmal ist was die
15:18Schwierigkeiten ausmacht sondern einfach
15:20was anderes und je nachdem wo ich eben
15:23festhalte mit einem Test und wie ich
15:25sozusagen die Grundstruktur der Aufgaben
15:27festlege um so bisschen mehr kommt was
15:30anderes raus das ist jetzt für die
15:32meisten pädagogischen Fragen gar nicht
15:34so arg relevant aber spätestens dann
15:37wenn sie einen Test bauen wollen von der
15:40zweiten bis zur vierten Klasse und sie
15:42wollen jetzt hier die Lesekompetenz
15:45messen und zwar nicht nur eine
15:46eindimensionale sondern eine breite mit
15:48mehreren Bereichen ja dann haben wir ein
15:51bisschen Schwierigkeiten weil je nachdem
15:53wo sie es festhalten kommt vielleicht
15:55was anderes raus und genau für diese
15:58Frage brauche ich eben die Testtheorie
16:01und je nachdem wie meine pädagogischen
16:04Entscheidung sind oder wie das mit
16:05förderkonzepten verbunden ist muss ich
16:08dafür einfach ein gewisses Bewusstsein
16:10haben mehr will ich mit diesem Kapitel
16:12einfach überhaupt gar nicht sagen und
16:15das Schlimmste was wir haben ist immer
16:16dann wenn der Fehler systematisch ist
16:19und er für eine gewisse Personengruppe
16:22gilt weil sie vielleicht gar nicht
16:24diesen oder jenen Unterrichtsstoff
16:26überhaupt gehört haben oder einfach weil
16:29diese dieses aufgabenformat den
16:31Personengruppen gar nicht klar war oder
16:34sein kann und die anderen erschließen
16:36sich das aber induktiv oder nach zwei
16:39beispielitems und die andere
16:41Personengruppe nicht ja dann haben wir
16:43einfach ein wirkliches Problem und
16:46dementsprechend würde ich eben sagen in
16:48der ganz klassischen pädagogischen
16:51Diagnostik messen wir im Endeffekt immer
16:53nur die Personen im Median die sind
16:57super die sind sauber für die klappt
16:59alles und immer dann wenn wir in die
17:01extrem Bereiche reingehen dann wird's
17:04wirklich schwierig und daher Test die
17:06jetzt sagen uh du bist Prozentrang 5
17:09prozentr Rang 2
17:11also je nachdem wie sauber der Test ist
17:14und wie klar dieses kompetenzlevel ist
17:16dann ist es meistens nicht der Fall also
17:18prozentr Rang 16 Proz Rang 10 von mir
17:21aus noch je nachdem wie gut der Test
17:23skaliert ist aber der der Rest muss
17:26sozusagen große Stichproben haben und
17:29sehr genau sein und dann kann man das
17:32machen und genau dementsprechend und
17:34dann brauche ich auch noch viele
17:35Aufgaben also das ist sozusagen dann
17:37einfach der Bereich wo die Normen dann
17:40halt auch aufhören und der Testbereich
17:42da ist und in dem Moment wo man sich den
17:44bewusst ist ist alles gut und man kann
17:47eben dann auch weitermachen kommen wir
17:50zu den Gütekriterien die eine Folge der
17:53Testtheorie sind und sie kennen sicher
17:54die Gütekriterien die haben sie in ganz
17:56vielen Vorlesungen schon gesehen und es
17:59geht jetzt eben auch darum dass alle
18:01Personen diese Tests durchführen können
18:03auswerten können und dann kommt
18:05hoffentlich dasselbe Ergebnis raus und
18:08genau das ist der Grund warum Tests und
18:10manche Fördermaterialien ganz klare
18:13Instruktionen haben an die man sich
18:15bitte unter allen Umständen halten muss
18:18außer man ist ein Experte und es
18:20funktioniert halt anders nicht dann kann
18:21man gerne auch abweichen aber dann muss
18:24man sich dementsprechend bewusst sein
18:26also diese Gütekriterien sind einfach
18:29eine Folge aus der Testtheorie und nur
18:32dann wenn man sie einhält bin ich ist
18:36man sich sozusagen sicher dass man eben
18:38keine systematischen Fehler hat wie wenn
18:40ich nämlich z.B einfach eine andere
18:42instruktions verwende oder mehr Hilfen
18:44habe bei der Durchführung oder das hatte
18:47ich auch schon bei einem Lesetest der
18:49Schüler weint dann was macht die
18:52durchführen die Testperson sie
18:54unterstützt die Person im Sinne einer
18:56Förderung baut ihn auf ganz pädagogisch
18:58und löst mit ihm alle Items das ist dann
19:02natürlich nicht das Ergebnis die die
19:04Person alleine geschafft hat und
19:06dementsprechend ist es vielleicht jetzt
19:09ein informelles Ergebnis was man
19:11interpretieren darf aber wenn ich
19:14natürlich nicht die Durchführung und
19:16Interpretation und Auswertung so mache
19:18wie beschrieben dann kommt kein
19:21objektives Ergebnis raus und ich sollte
19:23es dann auch gar nicht erst weiter mit
19:24einer Norm oder anderen Ergebnissen
19:26vergleichen das nächste ist die
19:28relabilität das ist sozusagen die
19:30Zuverlässigkeit das genau das was ich
19:33eben im Endeffekt mit meiner Empirie gut
19:36einschätzen kann ich kann meistens nicht
19:38anhand der zahlenberge allein sagen
19:40treffe ich jetzt mein Ziel oder nicht
19:43das ist jetzt eher die Frage der
19:44Validität aber ich kann eben sagen na ja
19:47die Ergebnisse die der jetzt so
19:48empirisch vorlegen die sehen alle gleich
19:50gut aus ich kann die anhand von gewissen
19:52Statistiken gut einschätzen und
19:55dementsprechend sage ich Ihnen da kommt
19:57ein gewisser Messfehler daraus und das
20:00trifft schon eben das latente Konstrukt
20:04sozusagen an sich und das Problem was
20:06jetzt ein bisschen blöd klingt ja wieso
20:09können Sie denn sagen dass sie was
20:10treffen aber sie wissen eigentlich gar
20:12nicht was sie treffen und das ist eben
20:14genau die die Problemlage dass von der
20:17Empirie und der Statistik her gesehen
20:19ich das gar nicht beurteilen kann
20:21sondern erst dann ein andere Ebene eben
20:24brauche bei der Validität auf der einen
20:27Seite sollte schon bei der
20:28Testkonstruktion ein Experte mit
20:31eingebunden sein oder vielleicht gibt es
20:33ja auch Kriterien die ich ganz klar
20:36anwenden kann und dann weiß ich eben
20:38auch schon na ja das ist jetzt ein
20:41Lesetest weil es geht um lesen ich habe
20:44leseaufgaben verwendet die vielleicht in
20:46Schulbüchern sind oder die auch schon
20:48woanders verwendet wurden das hat also
20:51irgendwas mit Lesen zu tun auf der
20:53anderen Seite verwende ich vielleicht
20:55ein gewisses Modell das gewisse
20:58grundlegenden Fähigkeiten des Lesens
21:01unterscheidet und es gibt andere Tests
21:04die das genauso machen und dann mache
21:06ich z.B eine stichprue mit dem einen
21:08Test und dem anderen Test und wenn dann
21:11hoffentlich dasselbe rauskommt dann
21:13sehen wir ah ja die Messen beide
21:16dasselbe und die Frage ist dann immer
21:19ist die Validität erreicht oder nicht
21:21erreicht und das ist eine Glaubensfrage
21:24je nachdem wo sie sind sagen dann Leute
21:26ja es gibt überhaupt das was Validität
21:29ist also man kann dann irgendwann sagen
21:31dass das so passt und es gibt andere die
21:34sagen dass es nie erreicht und Sie
21:36werden nie wissen ob es jetzt genau
21:38stimmt dementsprechend mag ich dieses
21:41Wort einfach gar nicht und ich habe auch
21:43gar nicht hier angefangen wie es in
21:44vielen anderen Lehrwerken ist da jetzt
21:46noch irgendwelche Unterschiede mit
21:48hineinzubauen die man dann auswendig
21:50lernt für die Klausur weil das kann man
21:52machen aber das bringt meistens halt
21:54auch gar nichts und man sollte sich
21:56einfach dem nur bewusst sein dass es da
21:58verschieden Möglichkeiten gibt es zu
21:59prüfen meistens reden wir aber eher über
22:02Reliabilität wenn es um Testkonstruktion
22:05angeht weil wir uns damit am besten
22:06beschäftigen und auskennen und bei
22:08Validität sind wir eigentlich immer dann
22:10wenn das Instrument entweder in der
22:12Konstruktionsphase ist dass wir es
22:14überprüfen oder dass wir wenn das
22:15Instrument dann wirklich gut fertig ist
22:18dass wir es dann noch mit weiteren
22:20anderen Tests vergleichen in Art
22:23Testbatterie und andere forschunggruppen
22:25sagen ja das passt oder das passt zu
22:27nicht so wie ich würde ich persönlich
22:29jetzt diese Unterschiede bewerten und
22:31sehen vor allem im Bezug auf
22:33Schulleistungsstudien wo wir eher zu
22:35wenig Tests haben und viele Dinge
22:37unbekannt sind also gibt zwar viele
22:39Dinge die bekannt sind aber meistens
22:41sind sie nur auf normativer Ebene und
22:44auf empirischer Ebene wissen wir die
22:46meisten Sachen so gar nicht so genau
22:47während jetzt bei der
22:49fragebogenforschung zur Psychologie vor
22:51allem in der klinischen oder anderen da
22:54da gibt's einfach ganz viele Fragebögen
22:57wie Sand Amer und und da gibt's
22:59natürlich dann dementsprechend auch ganz
23:00viele
23:02grundvaliditätsstudien und vergleichende
23:04Studien die wir jetzt so in dem
23:06Schulkontext Kinder mit
23:07Lernschwierigkeiten einfach gar nicht
23:09haben das muss man dann einfach auch
23:11sagen je nachdem wie viel Forschung da
23:13liegt umso mehr kann ich über Validität
23:15eigentlich überhaupt reden dann waren
23:17das jetzt die drei Hauptkriterien und
23:19damit kann man im Endeffekt aufhören
23:20weil dann hat man das Wichtigste und
23:23dann ist die Frage sind die ander
23:24nebenkriterien oder brauche ich die
23:26eigentlich überhaupt und sind die
23:28überhaupt wichtig und wenn Sie ein
23:30klassischen Psychologen zuhören dann
23:31würden die sagen nein ich brauche nur
23:33die drei und der Rest passt aber nein
23:36wir sind im in der Forschung zur Schule
23:39und ich würde sogar sagen die anderen
23:42sind grundsätzlich wichtig und ich
23:44brauche sie damit ich überhaupt was
23:45machen kann aber die anderen sind je
23:49nachdem eigentlich genauso wichtig wenn
23:51nicht wichtiger also sozusagen in dem
23:54Sinn die Nützlichkeit Zumutbarkeit oder
23:58auch Ökonomie wenn die sozusagen die
24:02anwenderbarkeit nicht hoch ist dann
24:04machen die alle gar keine Tests und das
24:06ist ja genau das Problem was wir in der
24:08Schule haben wir haben ganz tolle
24:10Screenings und Anwendungsverfahren um
24:13Kinder mit Leseschwierigkeiten oder
24:15ähnlichen zu identifizieren und zu
24:17fördern wenn die Personen aber aus
24:19irgendeinem Grund abgeschreckt sind es
24:21nicht für schulnah erachten oder diese
24:24ganzen Fördermaterialien nicht
24:26eingesetzt werden die Evidenz basiert
24:28sind dann haben sie halt auch leider
24:29überhaupt keinen Nutzen oder sind nicht
24:31implementiert woran das jetzt immer
24:33liegt kann man komplett sich darüber
24:35streiten aber dementsprechend würde ich
24:38jetzt sogar sagen also das ist eine
24:41genauso wichtige Grundvoraussetzung
24:44darüber zu reden wie bei den anderen
24:47auch und das ist genau dann die
24:49Streitfrage die man im Einzelnen hat ich
24:52persönlich sehe also von daher die
24:53Eichung auch genauso wichtig an einfach
24:56mit der Grundfrage passt die Eichung zu
24:58meinen Test und meine Fragestellung und
25:00wenn die passt ist alles gut und wenn
25:03ich aber eben sage ich will Menschen mit
25:05geistiger Behinderung feststellen ja
25:08dann tut es mir wirklich leid aber dann
25:10ist vielleicht eine Objektivität
25:12vielleicht auch zum Teil eine
25:13Reliabilität oder Validität geklärt aber
25:16die meisten Tests sind für diese
25:17Personengruppe und Zielgruppe überhaupt
25:19nicht gedacht geeignet und und auch auch
25:23nicht anwendbar dann dann habe ich da
25:26einfach Schwierigkeiten dann scheitert
25:27es einfach daran dass ich eine zu krasse
25:31extremgruppe bin die da nicht da sind
25:34und dann gibt's verschiedene Ideen dass
25:35man verschiedene Tests anders
25:37zusammenbaut um sozusagen das ganze noch
25:41zu erfüllen aber das ist dann wieder
25:43eine andere Frage das finden Sie in der
25:45Vertiefung des herausgeberwerks diese
25:48Konzepte die andere Frage ist eben die
25:50Skalierung Auswertung und Möglichkeiten
25:53überhaupt die sind bei den meisten Tests
25:55eh automatisch erfüllt weil sie da für
25:58eingehen und das passend sind eher eine
26:01Frage vor allem bei informellen Test ob
26:04die Sachen passen oder da sind und auch
26:06das vorherige Beispiel dass ich ihnen ja
26:09gezeigt habe mit dieser iat Skalierung
26:12das könnte man also sagen das hat die
26:15verrechnungssachchen verpasst oder war
26:18nicht zielgruppenspzifisch oder passt da
26:20in der Form nicht das ist da eben
26:22sozusagen eine gewisse
26:24grundschwierigkeit gibt also das hängt
26:27sozusagen mit dem anderen zusammen und
26:28ob ich jetzt Skalierung wirklich als
26:30eigenen Bereich sehe es ist die Frage
26:32für den Bereich der Sonderpädagogik
26:34halte ich das aber für wahnsinnig
26:36relevant weil genau hier die meisten
26:38Schwierigkeiten für die meisten Tests
26:40entstehen Ökonomie und Nützlichkeit
26:42Zumutbarkeit ist genauso dieser Bereich
26:45den ich vorher gerade angesprochen habe
26:47dass eben der Test auch für die
26:49Lehrkräfte erreichbar anwendbar
26:51auswertbar und interpretierbar ist und
26:54er nicht nur für experten gemacht wurde
26:56die sich damit viel und lange
26:58beschäftigen und da ich ja in dem
27:00Bereich viele Lehrerfortbildung halte
27:02bin ich zwar der Meinung dass viele
27:04Dinge da absolut der ökonomisch nützlich
27:06und auch einfach verständlich sind aber
27:09die Zielgruppe sieht viele Dinge dann
27:11durchaus anders und dann muss man sich
27:13an die Zielgruppe halten weil die macht
27:16den Markt und hier sozusagen noch mal
27:18die unverfälschbarkeit noch mal als
27:20eigenen Punkt und auch die Fairnis und
27:23auch hier liegt es eben einfach daran
27:25dass im Bereich Sonderpädagogik oder
27:27lehrenschwierigkeit die meisten Tests
27:29sind nicht auf die Fairness genau für
27:30diese Personengruppe getestet und dann
27:33habe ich eben auch durchaus
27:34Schwierigkeiten dass vielleicht der von
27:36mir angenommene unsystematische Fehler
27:38vielleicht doch systematisch ist und
27:41theoretisch sollte man das ganze auf
27:42diese Gruppen immer testen das klappt
27:45aber halt einfach nicht weil die meisten
27:46Tests eine normstichprobe haben dann
27:48sind sie froh dass sie die erfüllt haben
27:50und dann wird der Test halt verkauft von
27:52den Verlagen also spricht genau diese
27:54Forschung vor allem bei Produkten die
27:56Sie kaufen können ist mal ist es nicht
27:59von Forschungsergebnissen oder
28:01forschungstests dagegen gibt's meistens
28:03Leute die das ja dann weiterentwickeln
28:05wollen da gibt's dann viel Forschung
28:07dazu genau was ich noch sagen wollte ist
28:10egal welche Gütekriterien und welchen
28:12Test ich habe ich muss mir immer
28:13überlegen ob z.B der Test jetzt auch
28:16wirklich für diese Gruppe entworfen ist
28:17und ob er gilt ob dieselben Annahmen da
28:20sind und Dino capppovilla hat es sehr
28:22schön in einem Beitrag gemacht also wenn
28:24ich intelligenzmessung mache und ich
28:26nehme Intelligenztest und und nehme dann
28:28z.B Personen die nicht sehen können oder
28:32nur eingeschränkt sehen können dann ist
28:35es durchaus die Frage ob ein
28:36matrizentest eigentlich überhaupt noch
28:38einen Sinn macht weil die Personen ja an
28:41sich eine andere Wahrnehmung haben und
28:45die haben vielleicht auch sozusagen
28:47andere andere
28:50Grundmechanismen wie also nicht wie sie
28:52jetzt schlussfolgern denken soweit würde
28:54ich nicht gehen aber aber der
28:56matrizentest an sich ist ja ein
28:58visueller Test wo ich was wahrnehme und
29:02selbst wenn ich den jetzt irgendwie
29:03übertrage dass ich ihn nicht mehr sehe
29:06dann es macht auf jeden Fall einfach
29:08keinen Sinn diese bestehenden Tests zu
29:10nehmen sondern wenn ich sozusagen eine
29:12ganz besondere Gruppe habe dann muss ich
29:14eigentlich vom latenten Konstrukt
29:16ausgehen und dann mir überlegen wie
29:18könnte ich denn da für diese Gruppe
29:20Intelligenz messen weil die bestehenden
29:23Verfahren die ja einfach papierbasiert
29:26meistens sind oder mit irgendwelchen
29:29Bauklötzen da sind die sind halt
29:31meistens von einer Perspektive der Norm
29:34also wo die meisten Personen sind oder
29:36wie die beisten Personen wahrnehmen
29:38gedacht und wenn die Personengruppe aber
29:41komplett anders wahrnimmt oder andere
29:43Strukturen hat dann muss ich auch das
29:44Konstrukt sozusagen von der auf der
29:47manifesten Ebene neu machen und genau
29:49das hat im Endeffekt Herr kapuilla und
29:52Frau Korber hier in dem Artikel
29:54wunderbar besprochen und dasselbe
29:56Problem haben wir im Endeffekt t
29:58eigentlich auch mit Kultur und Sprache
30:00klar ich will viele Tests kulturfrei und
30:03sprachunabhängig machen ob das jetzt
30:06wirklich der Fall ist ist eine Frage wo
30:08wir uns da ganz sicher sind ist dann
30:10eben dieser Bereich dieser large scale
30:12assessments weil da wird es auf jeden
30:13Fall geprüft und Items die sozusagen
30:16dabei rausfallen die die sind dann nicht
30:19dabei aber im Endeffekt wenn ich mir
30:22jetzt diese normalen Tests nehme die
30:24jetzt bei Gutachten verwendet werden
30:28dann ist das schon immer ein bisschen
30:30ein kritischer Bereich weil je nachdem
30:33welchen Kulturkreis man hat oder in wie
30:36weit das da ist dann haben wir schon
30:38immer eine europäisch oder amerikanisch
30:41zentrierte Perspektive je nachdem
30:43welches latente Konstrukt man da hat und
30:46die ist halt einfach auch da und
30:48dementsprechend muss man sich das
30:50überlegen ob ob dieser Test oder jener
30:52Test damit überhaupt sinnvoll ist oder
30:54welche Aussagen man hat da bin ich jetzt
30:57aber auch absolut kein Experte mehr für
30:59diese Personengruppen und ich würde
31:02persönlich immer sagen gehen Sie dann in
31:04den sprachfreien Bereich wenn es das
31:07gibt und selbst da ist es dann eben auch
31:10eine gewisse Schwierigkeit und Sie
31:11sollten eher davon ausgehen welche
31:14fühlischen unterstützungsmodelle habe
31:16ich wie sieht das Ganze aus und auch
31:18dort eher in die prozessdiagnostik zu
31:20gehen wie in schwerwiegende
31:22Entscheidungen wo sie halt in dem Fall
31:24hohe Unsicherheiten haben wenn sie
31:26vielleicht die Personen Gruppe gar nicht
31:29treffen können zumindestens nicht mit
31:31dem bestehenden normierten Verfahren den
31:33Bereich messinvarianz habe ich schon
31:35vorher immer wieder erwähnt hier habe
31:37ich es jetzt noch einmal versucht
31:39möglichst klar auszuformulieren also im
31:41Endeffekt ich überlege mir ein Test ich
31:44überlege mir was leicht was Mittel was
31:45ist schwierig und dann soll das am
31:47besten diese aufsteigenden item
31:49Parameter haben und jetzt habe ich aber
31:52einfach das Problem dass das was ich mir
31:54gedacht habe vielleicht nicht für alle
31:56Gruppen gilt und Bildung ist bunt das
32:00passiert automatisch und ganz viel und
32:03je nachdem wie viel das ganze schon
32:05erforscht ist wie viel schon bekannt ist
32:08umso eher gelingt es mir
32:11messinvarianz zu ermöglichen und ein
32:13faires Instrument zu bauen aber umso
32:16weniger bekannt ist umso eher
32:19unterscheiden sich gewisse Gruppen und
32:21umso mehr Annahmen ich in so einen Test
32:23reinpacke umso multidimensionaler er ist
32:26umso komplexer ist umso mehr kann mir
32:29das ganze um die Ohren fliegen und das
32:31ist halt einfach ein generelles
32:33Grundproblem was wir haben und genau
32:35drum streitet man ja auch darüber ob
32:37Bildung jetzt bunt ist oder ob ich
32:39wirklich ein eindimensionales Konstrukt
32:41nehmen kann um diesen oder jenen Erfolg
32:44zu messen und ob es überhaupt relevant
32:46ist der nächste Aspekt der noch auch mit
32:48testen generell zusammenhängt aber
32:50eigentlich jetzt ihr im Bezug auf
32:52fördern oder Förderung eine Rolle spielt
32:54ist der sogenannte testeffekt und der
32:57wird auch angewandt oder verknüpft mit
32:59abrufbasierten lernen also immer dann
33:01wenn es z.B ums Vokabel lernen geht und
33:03sie wissen auch schon wie sie gleich
33:06geprüft werden nämlich indem der andere
33:08Ihnen die vokaben abfrägt dann können
33:10sie schon währenddem sie lernen auch
33:12überlegen ah ja ich muss das so und so
33:15wissen und mir ist klar wie die Prüfung
33:18erfolgt und dann hat allein dass ich
33:20vorher schon abgefragt wäde wurde einmal
33:23oder auch mir völlig bewusst bin je
33:26nachdem welche Studien man hat
33:28bisschen unterschiedlich und dann ist
33:31eben auch der Abruf im
33:32Langzeitgedächtnis besser und dem
33:35entsprechend würde ich persönlich sagen
33:37was was hat das für Folgen an sich also
33:40generell immer dann wenn sie sich auf
33:42Prüfung vorbereiten sollten Sie am
33:44besten genau das prüfungsformat schon
33:46kennen und dann lernen sie auch
33:48dementsprechend genau diese oder jene
33:50Bereiche vertieft und umso klarer in
33:53ihnen das ist und wenn Sie am besten ein
33:55Art Vortest haben und dann lernen Sie
33:58und dann testen Sie sich immer wieder
34:00genau in dem Testbereich umso besser
34:02klappt es dann auch also woran das jetzt
34:05liegt ist eben dieser sogenannte
34:07testeffekt

About this transcript

This page contains the full transcript of Kapitel 4 Teil 2 Messen und Bewerten im Pädagogischen Kontext by Markus Gebhardt, generated from the public captions YouTube serves with the video. The transcript has 5,391 words across 889 segments, with the original timestamps preserved so you can click any line to jump to that moment in the embedded player.

What you can do with it

Use the transcript to take notes, quote the speaker, build a study guide, generate a summary with ChatGPT or Claude via the YouTube Summary tool, or export it as a timed subtitle file with YouTube to SRT. You can also re-open it in the transcriber to translate the transcript into 100+ languages.

Free YouTube transcript tool

YouTube2Text is a free YouTube transcript generator — no signup, no daily limit. Paste any YouTube link and get the full transcript instantly, with timestamps, click-to-jump, translation to 100+ languages, AI prompts for ChatGPT, Claude, and Gemini, and exports to TXT, SRT, VTT, or Markdown.