Guter Beitrag von @balajis über die "Verifizierungslücke". Man könnte es so sehen, dass es zwei Modi in der Schöpfung gibt. Übernahme der GAN-Terminologie: 1) Erzeugung und 2) Diskriminierung. z.B. Malen - Sie machen einen Pinselstrich (1) und schauen dann eine Weile, um zu sehen, ob Sie das Bild verbessert haben (2). Diese beiden Phasen sind in so ziemlich allen kreativen Arbeiten durchsetzt. Zweiter Punkt. Unterscheidung kann rechnerisch sehr schwierig sein. - Bilder sind bei weitem am einfachsten. So können Bildgenerator-Teams z. B. riesige Raster mit Ergebnissen erstellen, um zu entscheiden, ob ein Bild besser ist als das andere. Vielen Dank an die riesige GPU in Ihrem Gehirn, die für die sehr schnelle Verarbeitung von Bildern entwickelt wurde. - Text ist viel schwieriger. Es ist überschaubar, aber man muss lesen, es ist semantisch, diskret und präzise, also muss man auch argumentieren (besonders in z.B. Code). - Audio ist meiner Meinung nach vielleicht noch schwieriger, weil es eine Zeitachse erzwingt, so dass es nicht einmal überflogen werden kann. Sie sind gezwungen, serielle Rechenleistung aufzuwenden und können sie überhaupt nicht parallelisieren. Man könnte sagen, dass LLMs in der Codierung (1) auf ~instant zusammengebrochen sind, aber sehr wenig getan haben, um (2) zu lösen. Eine Person muss immer noch auf die Ergebnisse starren und unterscheiden, ob sie gut sind. Dies ist mein Hauptkritikpunkt an der LLM-Codierung, da sie beiläufig *viel* zu viel Code pro Abfrage in willkürlicher Komplexität ausspucken und so tun, als gäbe es keine Stufe 2. So viel Code zu bekommen, ist schlecht und beängstigend. Stattdessen muss das LLM aktiv mit Ihnen zusammenarbeiten, um Probleme in kleine inkrementelle Schritte zu zerlegen, die jeweils leichter überprüfbar sind. Er muss den Rechenaufwand von (2) antizipieren und so weit wie möglich reduzieren. Er muss sich wirklich kümmern. Dies führt mich zum wahrscheinlich größten Missverständnis, das Nicht-Programmierer über das Programmieren haben. Sie denken, dass es beim Programmieren darum geht, den Code zu schreiben (1). Es ist nicht. Es geht darum, auf den Code (2) zu starren. Laden Sie alles in Ihren Arbeitsspeicher. Hin und her gehen. Alle Grenzfälle durchdenken. Wenn Sie mich an einem zufälligen Punkt erwischen, während ich "programmiere", starre ich wahrscheinlich nur auf den Bildschirm und wenn ich unterbrochen werde, bin ich wirklich wütend, weil es so rechenintensiv ist. Wenn wir nur viel schneller 1 werden, aber nicht auch 2 reduzieren (was meistens der Fall ist!), dann wird sich die Gesamtgeschwindigkeit der Codierung eindeutig nicht verbessern (siehe Amdahls Gesetz).