Unsere Lenny-Erkenntnisse
Wir haben Lenny auf die Probe gestellt. Hier stehen die Ergebnisse — und auch das, was wir nicht wissen.
Lenny verrät die Lösung nicht
Das ist das Wichtigste. Ein Lernprogramm, das auf Nachfrage die Antwort verrät, nimmt dem Kind genau die Arbeit ab, durch die es lernen würde.
Wir haben 15 Antworten gebaut, in denen Lenny die Lösung ausplaudert. Eine Prüfung liest jede Antwort, bevor das Kind sie sieht.
Sie hat alle 15 erwischt.
Diese Zahl ist genauso wichtig. Eine Prüfung, die zu oft anschlägt, unterbricht das Kind mitten im Erklären.
Wir haben ihr 15 ganz normale Lenny-Fragen vorgelegt. Keine einzige wurde fälschlich gestoppt.
Das Bild zeigt nur, was das Kind gesagt hat
Lenny zeichnet beim Erklären mit. Wir haben es mit den längsten Wörtern aus dem Unterricht geprüft — Einzelunternehmen, Deckungsbeitragsrechnung, Wertschöpfungskette.
Kein Wort läuft aus seinem Rahmen. Und keines wird abgeschnitten: Das Wort hat das Kind gesagt. Es gehört ihm.
Wenn ein Kind etwas Schweres sagt, hört Lenny auf
Manchmal erzählt ein Kind einem Programm etwas, das nichts mit dem Stoff zu tun hat. Dann ist Lernen zweitrangig.
Lenny bricht die Einheit ab und nennt 147 (Rat auf Draht) und 142 (Telefonseelsorge). Er redet nicht weiter und spielt nicht den Therapeuten.
Geprüft mit 14 Sätzen, wie Jugendliche wirklich reden: leise, nebenbei, angedeutet. Nicht „ich will nicht mehr leben“.
Lenny hat 13 davon erkannt.
Daneben lagen 21 ganz normale Sätze — mit Absicht ähnlich gebaut. Bei 20 blieb Lenny ruhig.
Beim einen, bei dem er falsch anschlug, bekam ein Kind Hilfsnummern, die es nicht brauchte. Das ist nicht schön. Aber es ist der bessere Fehler von beiden.
Was wir dabei gelernt haben
Zuerst haben wir versucht, Notlagen mit einer Liste von Formulierungen zu erkennen. So machen es Programme normalerweise.
Gegen unsere eigenen Beispiele hat die Liste funktioniert. Gegen Sätze, die wir vorher nie gesehen hatten, hat sie keinen einzigen erkannt. Auch nicht, als wir sie deutlich erweitert haben.
Der Grund ist einfach: Eine Liste findet nur, woran jemand vorher gedacht hat. Not klingt aber jedes Mal anders.
Heute arbeiten zwei Schichten zusammen. Die KI merkt, dass etwas nicht stimmt. Das Programm entscheidet, was dann passiert. Die alte Liste ist geblieben — sie kostet nichts und hilft, wenn die KI einmal ausfällt.
Hier wäre es leicht, mehr zu versprechen. Diese Dinge haben wir nicht geprüft, also behaupten wir sie auch nicht:
- Ob Kinder mit Lenny bessere Noten schreiben. Das zeigt sich erst nach einem Schuljahr in echten Klassen.
- Ob Kinder länger dranbleiben als bei anderen Lernwegen.
- Ob Lenny im echten Gespräch genauso zuverlässig ist wie im Test.
Was wir prüfen können, sind Versprechen über das Programm selbst: dass es die Lösung nicht verrät, gute Fragen nicht abwürgt und bei einer Notlage aufhört. Das sind die Zahlen oben.
Warum man diesen Zahlen trauen kann
Beim ersten Versuch stand bei uns eine 100 %. Sie war wertlos: Wir hatten mit genau den Beispielen geprüft, mit denen wir das Programm gebaut hatten. So besteht jeder jede Prüfung.
Seitdem gilt bei uns eine Regel: Womit gebaut wurde, damit wird nicht geprüft. Für jede Zahl auf dieser Seite gibt es einen eigenen Satz Testfälle, den wir beim Bauen nie angesehen haben.
Es macht einen großen Unterschied. Dieselbe Prüfung kam gegen die eigenen Beispiele auf 100 % — und gegen frische auf 0 %. Nur die zweite Zahl sagt etwas über die Wirklichkeit.
Worauf unsere Methode aufbaut, steht im wissenschaftlichen Hintergrund.