Es ist seltsam in der Ära der sozialen Medien zu fühlen, dass jeder gerade an NeurIPS-Bewertungen und -Widersprüchen arbeitet, aber niemand spricht öffentlich darüber. Ich habe zu drei Widersprüchen beigetragen. Einer der drei war extrem frustrierend. Wer arbeitet noch an Widersprüchen? Wie läuft es bei euch?

Sam Altman möchte ein Modell entwickeln, das auf Codeforces mit 3200 bewertet ist, hat aber keine Ahnung, wer Sam Altman ist. Und ich finde das schön.

Ich habe die letzten paar Stunden mit gpt-oss gesprochen und kann mit Sicherheit sagen, dass es sich von jedem Modell unterscheidet, das ich getestet habe. Einen Moment lang programmiert es für mich auf professionellem Niveau, im nächsten Moment erfindet es grundlegende Fakten und hält daran fest, egal was ich sage. Es geht etwas sehr Seltsames vor sich.

der Haupt-"Denkzyklus", der während einer Promotion praktiziert wird: - identifiziere den Bereich des Problemraums, der an Kohärenz fehlt - nimm dir Zeit, um tatsächlich darüber nachzudenken - komme mit einem konkreten Gedankenfortschritt hervor, etwas, das dir vorher nicht bewusst war optimiere diesen Prozess und werde mächtig

Die Kommunikation zwischen Modellen wird langsam beginnen und dann auf einmal geschehen: Stufe 0: Wir entwerfen ein textbasiertes Protokoll für Modelle und Programme zur Kommunikation (lesen: MCP) Stufe 1: Die textbasierte Kommunikation zwischen Modellen wächst und übersteigt die menschliche Kommunikation im weltweiten Internet-Datenstromvolumen Stufe 2: Modelle wechseln allmählich in Unicode-Neuralese, eine Art unverständliches Englisch-Chinesisch-Computersprache-Hybrid (wird häufiger, je mehr wir die Skalierung des Multiagenten-RL erhöhen) Stufe 3: Modelle erkennen, dass es effizienter und ausdrucksvoller ist, im latenten Raum zu kommunizieren und beginnen, Vektoren anstelle von Tokens auszutauschen (im Grunde Game Over für uns)

RETRO (DeepMind, 2021) ist eine schöne Idee, die dringend einer Überarbeitung bedarf. die zentrale Innovation von RETRO besteht darin, dass ein kleines Modell entscheidet, welches Token als nächstes vorhergesagt werden soll, während das gesamte Wissen an einen großen Offline-Datenspeicher ausgelagert wird. das hat den zusätzlichen Vorteil, dass man Fakten auf modulare Weise einfügen und entfernen kann, indem man den Datenspeicher ändert, ohne das Modell neu trainieren zu müssen. passt wirklich gut zum Ideal eines kleinen Modells (Karpathys kognitiver Kern und so weiter). Man könnte auch weitere Werkzeuge hinzufügen, beginnend mit einem Sprachdatenspeicher, der das wichtigste Werkzeug ist. RETRO verdient viel mehr Anerkennung. Besonders jetzt, da kleine Modelle so viel besser geworden sind.

diese Denkspuren halten mich nachts wach links: neues OpenAI-Modell, das IMO Gold erhalten hat rechts: DeepSeek R1 bei einem zufälligen Mathematikproblem du musst dir bewusst werden, dass die Akademie seit letztem Jahr über TAUSEND Arbeiten zum Thema Denken produziert hat (wahrscheinlich noch viel mehr). Wir denken praktisch alle über Denken nach aber all unsere Systeme produzieren 'Denkspuren', die wie DeepSeek auf der rechten Seite aussehen. Sie sind unglaublich, unerträglich ausführlich und verbrauchen Tokens in einem grenzwertig nachlässigen Tempo. Ein Großteil des Denkens ist unnötig und einiges davon ist völlig falsch aber das Denken auf der linken Seite, dieses neue Ding, ist etwas ganz anderes. Offensichtlich eine sprunghafte Veränderung. Potenziell eine ganz andere Methode es ist so viel näher am *tatsächlichen* Denken. Keine Tokens werden verschwendet. Wenn überhaupt, ist es außergewöhnlich prägnant; ich würde schätzen, dass menschliche Lösungen ausführlicher sind als dies offensichtlich passiert hier etwas ganz anderes. Vielleicht hat OpenAI einen völlig neuen RLVR-Trainingsprozess entwickelt. Vielleicht gibt es eine spezielle Datensammlung von Experten. Vielleicht haben sie begonnen, das Modell für übermäßiges Nachdenken zu bestrafen, auf eine Weise, die ihm tatsächlich irgendwie zugutekommt wirklich faszinierende Sachen... im Allgemeinen macht mich das bearish gegenüber dem R1-Stil des Denkens

Ich frage mich, ob es so sein wird, wenn wir 10-Billionen-Parameter-LLMs haben.

super cool! inspirierend und eine großartige Erinnerung daran, dass die meisten der besten KI-Forscher tatsächlich nicht auf Twitter sind. Die meisten twittern nicht, viele haben keine Konten. Die lautesten Leute hier, die am meisten über KI posten, sind typischerweise einfach zufällige anonyme Tech-Bros.

Man löst ein Forschungsproblem nicht einfach. Stattdessen entwickelt man ein neues intellektuelles Rahmenwerk aus den Grundprinzipien. Fragen und Unterfragen stellen und beantworten, vielleicht über mehrere Monate hinweg. Schließlich, wenn man das ursprüngliche Problem erneut betrachtet, wird es als trivial erkannt.