Kann ein Programmiertest zu leicht und zu schwer gleichzeitig sein?


Programmiertests um die Fähigkeiten eines Bewerbers zu überprüfen kann man einerseits nach den Programmiersprachen Java, Cobol, C++ usw. klassifizieren darüberhinaus aber auch nach dem Schwierigkeitsgrad von easy, middle and hard. Der Unterschied zwischen easy und hard mag auf den ersten Blick selbsterklärend sein, aber wie sähe eine Kategorie super-hard aus? Als Super-hard würde ich eine Aufgabe bezeichnen, wo selbst der Prüfer die Antwort nicht kennt. Ein Beispiel könnte so lauten:

„Schreiben sie ein Java Programm, was gegen DeepMind Go gewinnt.“

Warum diese Aufgabe super-hard ist simpel: weil es weltweit niemanden gibt, der der Aufgabe gewachsen ist. Der rotzfreche Bengel aus dem Informatik-Kurs wird daran scheitern, genauso wie der wohlerzogenen Informatik-Student im 3. Semester genauso wie der weltbeste Programmierer namens Bill Gates. Das heißt, egal welche Leute man mit diesem Problem testet wird jeder einzelne von ihnen durchfallen.

Das interessante aus Sicht der Psychologie ist die Tatsache, dass Aufgaben der Kategorie super-hard in Einstellungstests nicht vorkommen. Es gibt dort eine derartige Kategorie nicht. Alle Aufgabe sind entweder easy oder middle. Das ist insofern verwunderlich, als man eigentlich annehmen sollte, dass die Personalleiter die besten Leute haben wollen und demzufolge auch die anspruchsvollsten Tests dafür nutzen. Aber genau das passiert nicht. Der Grund ist simpel: es geht eben nicht um Java oder um Künstliche Intelligenz sondern es geht um soziale Spielchen. Wo also mit ausgedachten Aufgaben und willkührlicher Bewertung die Leute eingeschüchtert werden.

Würde man hingegen in einem Programmiertest eine Aufgabe der Kategorie super-hard verwenden, wäre ein Gleichstand zwischen Kandidat und Prüfer hergestellt. Das heißt, der Kandidat kennt die Antwort nicht, der Prüfer kennt sie aber auch nicht. Und jetzt können beide gemeinsam an der Lösung arbeiten. Aber genau das ist nicht erwünscht. Mathematisch hochtrabend kann man dieses Prinzip als verschlüsselte Kommunikation bezeichnen. Der Prüfer besitzt ein Geheimnis (die Antworten auf die Fragen) und verlangt jetzt von der Gegenseite, dass sie dieses Geheimnis entschlüsselt. Weil sie dies nicht kann oder weil es aufwendig ist, entsteht ein Machtgefälle. Erhöht man den Schwierigkeitsgrad der Testaufgaben, gibt man das Geheimnis aus der Hand. Der Prüfer besitzt nicht länger den Schlüssel um den anderen unter Druck zu setzen. Er verliert seinen Vorteil.

Die Informatik sagt dazu Einwegfunktion. Es basiert auf dem Prinzip dass es leicht ist, sich eine Prüfungsfrage auszudenken, aber schwer sie richtig zu beantworten. Das wichtigste Merkmal von Einwegfunktionen ist, dass sie kompletten Unsinn abfragen können. Das heißt, man denkt sich zuerst eine eigene Sprache aus, sagt also:
„hallo“ = xc
„welt“ = fd

formuliert in dieser Sprache ein Problem „xc fd fd xc“ und bittet jetzt den Prüfling die richtige Antwort zu sagen. Diese Antwort wird er nur mit sehr viel Nachdenken finden, weil er die Einwegfunktion rückwärts aufdröselt. Das heißt, die eine Seite kann schön die Beine hochlegen, während die andere Seite schwitzend über dem Problem brütet. Eine Methode zu schummeln gibt es bei Einwegfunktionen nicht. Sie wurden ja explizit dazu entwickelt, dass das Entschlüsseln nicht oder nur sehr aufwendig möglich ist.

Aber ist eine Einwegfunktion deshalb schwer? Ist eine Aufgabe, die in einer Kunstsprache formuliert ist eine echte Herausforderung? Leider nein, weil man die Aufgabe eigentlich sehr simpel lösen kann. Man braucht nur denjenigen zu fragen, der sich den Test ausgedacht hat, er kennt die Antwort und kann sie in 1 Sekunde geben und sogar begründen warum die Antwort richtig ist.

Aber mit Einwegfunktionen kann man noch sehr viel mehr Unfug treiben. Ich zum Beispiel kenne mich mit Robotik nicht im mindesten aus. Gleichzeitig bin ich jedoch in der Lage eine ultraschwere Aufgabe zu erstellen, um damit Bewerber auf ihre Eignung zu testen. Und zwar explizit solche Bewerber die mehr Ahnung haben in Robotik als ich selber. Anders formuliert, ein kleiner rotzfrecher Bengel der gerade angefangen hat zu programmieren kann sich ein Roboterproblem überlegen, wo er dann Sebastian Thrun, Emo Todorov und Marc Raibert zu einem Test einlädt um ihnen dann zu sagen, dass sie leider durchgefallen sind, weil die Antwort ganz anders ist. Natürlich hat das mit wissenschaftlicher Robotik nicht viel zu tun, sondern mit dem Wunsch jemand anderen vorzuführen, also ihm zu zeigen, dass er dumm ist. Der Witz ist, dass sich auf derartige Tests Marc Raibert und andere nicht vorbereiten können, obwohl sie die weltbesten Roboticist sind, können sie bei solchen Tests nur verlieren.

Es gab in der Vergangenheit mehrere Projekte wie spickmich.de wo Schüler ihre Lehrer bewerten konnten. Die Idee war es, mal den Spieß umzudrehen und zu sagen, was man von seinem Mathelehrer hält. Aus Sicht der Persönlichkeitsdiagnostik sind solche Bewertungen jedoch nicht valide, weil ja nur Meinungen geäußert werden. Eine Stufe höher ist der Ansatz, wenn sich Schüler zunächst Matheaufgaben überlegen, die dann von ihren Lehrern gelöst werden müssen und erst dann wird bewertet. Das Machtgefälle bleibt dabei erhalten, nur das diesmal das vernichtende Urteil in einem wissenschaftlichen Gewand daherkommt. Und wenn sich ein Lehrer weigert oder gar schummelt erhält er eine schlechte Note.

Wie man vielleicht schon ahnt, kann sowas nicht gutgehen, weil das ganze ausschließlich Leute anzieht, die noch offene Rechnungen begleichen wollen. Mit Mathematik oder gar Wissenschaft hätte so eine Plattform nichts zu tun. Weil die Tests ja nicht genutzt werden, um etws über Binominalzahlen oder Matrizen zu lernen, sondern es schlichtweg darum geht, die Gegenseite fertig zu machen. Das interessante ist, dass obwohl der Mathelehrer Ahnung von seinem Fach hat, er diesen Tests nicht automatisch gewachsen ist. Weil solche Tests nicht fair sind, sondern weil sie Element eines Rollenspiels darstellen. Also wo die Personen unterschiedliche Befugnisse haben: die eine Seite denkt sich ein Problem aus und vergibt die Noten, während die andere Seite gefügsam sein muss. Das ganze ist ein Autoritäts-Experiment also wie sich Leute verhalten, wenn sie mit weitreichenden Privilegien ausgestattet sind.

Advertisements

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s