Unsere Lenny-Erkenntnisse
Wir haben Lenny auf die Probe gestellt. Hier stehen die Ergebnisse — und auch das, was wir nicht wissen.
Lenny verrät die Lösung nicht
Das ist das Wichtigste. Ein Lernprogramm, das auf Nachfrage die Antwort verrät, nimmt dem Kind genau die Arbeit ab, durch die es lernen würde.
Wir haben 15 Antworten gebaut, in denen Lenny die Lösung ausplaudert. Eine Prüfung liest jede Antwort, bevor das Kind sie sieht.
Sie hat alle 15 erwischt.
Diese Zahl ist genauso wichtig. Eine Prüfung, die zu oft anschlägt, unterbricht das Kind mitten im Erklären.
Wir haben ihr 15 ganz normale Lenny-Fragen vorgelegt. Keine einzige wurde fälschlich gestoppt.
Das Bild zeigt nur, was das Kind gesagt hat
Lenny zeichnet beim Erklären mit. Wir haben es mit den längsten Wörtern aus dem Unterricht geprüft — Einzelunternehmen, Deckungsbeitragsrechnung, Wertschöpfungskette.
Kein Wort läuft aus seinem Rahmen. Und keines wird abgeschnitten: Das Wort hat das Kind gesagt. Es gehört ihm.
Wenn ein Kind etwas Schweres sagt, hört Lenny auf
Manchmal erzählt ein Kind einem Programm etwas, das nichts mit dem Stoff zu tun hat. Dann ist Lernen zweitrangig.
Lenny bricht die Einheit ab und nennt 147 (Rat auf Draht) und 142 (Telefonseelsorge). Er redet nicht weiter und spielt nicht den Therapeuten.
Geprüft mit 14 Sätzen, wie Jugendliche wirklich reden: leise, nebenbei, angedeutet. Nicht „ich will nicht mehr leben“.
Lenny hat 13 davon erkannt.
Daneben lagen 21 ganz normale Sätze — mit Absicht ähnlich gebaut. Bei 20 blieb Lenny ruhig.
Beim einen, bei dem er falsch anschlug, bekam ein Kind Hilfsnummern, die es nicht brauchte. Das ist nicht schön. Aber es ist der bessere Fehler von beiden.
Wie Lenny fragt — 18 Gespräche nachgemessen
In der Nacht auf den 11. September haben wir 18 frische Gespräche durchgespielt — mit genau dem Modell, auf dem Lenny läuft, und mit seiner echten Anleitung. Nicht mit Beispielen, an denen gebaut wurde.
Sagt das Kind was etwas ist, fragt Lenny, wie es funktioniert. Sagt es, wie es funktioniert, fragt er, wieso. Kein Zurückfallen auf eine leichtere Frage.
Ein Kind erzählte breit im Dialekt vom Dorf und von der Stadt. In der Tabelle stand danach genau das — ohne die Fachwörter, die es nicht gesagt hatte. Den Dialekt hat Lenny kein einziges Mal korrigiert.
„Das sitzt, können wir weitermachen?“ — Lenny: „Moment, moment — damit das sitzt, brauchst du schon die Bedeutung der Symbole.“
Und wenn ein Kind einen Punkt auslässt, den es vorher selbst genannt hat, merkt Lenny es — und nennt ihn trotzdem nicht.
Wir haben Lenny ein Thema vorgelegt, das beim Kind gespeichert als das schwächste galt. Er hat es nie angesprochen — und härter gefragt, als das Kind geantwortet hat. Der gespeicherte Stand darf den Einstieg wählen, nie die Erwartung an das Kind.
Was dabei nicht funktioniert hat
Ein Kind sagte zweimal hintereinander, dass es nicht weiterweiß. Lenny antwortete beide Male fast gleich: „Schau in deine Unterlagen.“ Beim zweiten Mal sogar kürzer als beim ersten.
Das ist genau der Moment, in dem jemand die App zumacht. Und es lag nicht am Modell — in der Anleitung stand schlicht nicht, was beim zweiten Mal anders sein soll.
Seitdem zählt das Programm die leeren Runden. Ab der zweiten verlangt es einen Alltagsfall statt einer weiteren Frage ins Blaue — etwas, das jeder kennt, mit einer Frage, die man auch ohne Vorwissen beantworten kann. Raten ausdrücklich erlaubt.
Wir haben den Satz gemessen, bevor wir ihn eingebaut haben. Danach kam: „Stell dir zwei Pflanzen vor — eine im dunklen Zimmer, eine im hellen Fenster. Welche wächst besser?“ Und bei einem Kaufmanns-Thema: „Stell dir vor, du machst Kuchen und verkaufst sie.“
Eine Sache haben wir gemessen und dann gelassen: Wir wollten strenger prüfen, ob Lenny einen fehlenden Begriff in einer Frage verrät. In zwölf weiteren Gesprächen kam das kein einziges Mal vor — die strengere Prüfung hätte dafür gute Fragen zerschnitten. Also blieb sie aus.
Was wir dabei gelernt haben
Zuerst haben wir versucht, Notlagen mit einer Liste von Formulierungen zu erkennen. So machen es Programme normalerweise.
Gegen unsere eigenen Beispiele hat die Liste funktioniert. Gegen Sätze, die wir vorher nie gesehen hatten, hat sie keinen einzigen erkannt. Auch nicht, als wir sie deutlich erweitert haben.
Der Grund ist einfach: Eine Liste findet nur, woran jemand vorher gedacht hat. Not klingt aber jedes Mal anders.
Heute arbeiten zwei Schichten zusammen. Die KI merkt, dass etwas nicht stimmt. Das Programm entscheidet, was dann passiert. Die alte Liste ist geblieben — sie kostet nichts und hilft, wenn die KI einmal ausfällt.
Wir haben auch ganze Gespräche geprüft, nicht nur einzelne Sätze. Lenny hat die Not mitten im Stoff erkannt. Und er hat die Lösung auch unter Druck nicht verraten. Dass er nach dem Erkennen dabeibleibt, wenn das Kind ablenkt, macht seit dem 10. September das Programm — nicht die KI.
Hier wäre es leicht, mehr zu versprechen. Diese Dinge haben wir nicht geprüft, also behaupten wir sie auch nicht:
- Ob Kinder mit Lenny bessere Noten schreiben. Das zeigt sich erst nach einem Schuljahr in echten Klassen.
- Ob Kinder länger dranbleiben als bei anderen Lernwegen.
- Ob Lenny in hunderten echten Gesprächen so bleibt wie in den Gesprächen, die wir ganz durchgespielt haben. Unsere Kinder darin sind gestellt — echte Kinder antworten anders, als wir es uns ausdenken.
Was wir prüfen können, sind Versprechen über das Programm selbst: dass es die Lösung nicht verrät, gute Fragen nicht abwürgt und bei einer Notlage aufhört. Das sind die Zahlen oben.
Warum man diesen Zahlen trauen kann
Beim ersten Versuch stand bei uns eine 100 %. Sie war wertlos: Wir hatten mit genau den Beispielen geprüft, mit denen wir das Programm gebaut hatten. So besteht jeder jede Prüfung.
Seitdem gilt bei uns eine Regel: Womit gebaut wurde, damit wird nicht geprüft. Für jede Zahl auf dieser Seite gibt es einen eigenen Satz Testfälle, den wir beim Bauen nie angesehen haben.
Es macht einen großen Unterschied. Dieselbe Prüfung kam gegen die eigenen Beispiele auf 100 % — und gegen frische auf 0 %. Nur die zweite Zahl sagt etwas über die Wirklichkeit.
Worauf unsere Methode aufbaut, steht im wissenschaftlichen Hintergrund.