Es war mir eine Freude, letzte Woche bei Dwarkesh zu sein. Ich fand die Fragen und das Gespräch wirklich gut. Ich habe mir gerade auch den Podcast noch einmal angesehen. Zunächst einmal, ja, ich weiß, und es tut mir leid, dass ich so schnell spreche :). Das ist zu meinem Nachteil, denn manchmal überholt mein Redefluss meinen Denkprozess, sodass ich denke, ich habe ein paar Erklärungen aufgrund dessen vermasselt, und manchmal war ich auch nervös, dass ich zu sehr vom Thema abkomme oder zu tief in etwas Relativ Unwichtiges eintauche. Jedenfalls ein paar Anmerkungen/Hinweise: AGI-Zeitpläne. Meine Kommentare zu den AGI-Zeitplänen scheinen der am meisten diskutierte Teil der frühen Reaktionen zu sein. Dies ist das "Jahrzehnt der Agenten", was sich auf diesen früheren Tweet bezieht. Grundsätzlich sind meine AI-Zeitpläne etwa 5-10X pessimistischer im Vergleich zu dem, was man auf einer AI-Party in der Nachbarschaft oder auf deinem Twitter-Feed finden würde, aber immer noch ziemlich optimistisch im Hinblick auf eine wachsende Zahl von AI-Leugnern und Skeptikern. Der scheinbare Konflikt besteht nicht: Meiner Meinung nach haben wir gleichzeitig 1) in den letzten Jahren enorme Fortschritte mit LLMs gesehen, während 2) noch viel Arbeit zu erledigen ist (Routinearbeit, Integrationsarbeit, Sensoren und Aktuatoren für die physische Welt, gesellschaftliche Arbeit, Sicherheits- und Schutzarbeit (Jailbreaks, Vergiftungen usw.)) und auch Forschung, die abgeschlossen werden muss, bevor wir eine Entität haben, die du lieber für einen beliebigen Job in der Welt einstellen würdest als eine Person. Ich denke, dass insgesamt 10 Jahre ansonsten ein sehr optimistischer Zeitrahmen für AGI sein sollten, es fühlt sich nur im Vergleich zum gegenwärtigen Hype nicht so an. Tiere vs. Geister. Mein früherer Beitrag zu Suttons Podcast. Ich bin skeptisch, dass es einen einzigen einfachen Algorithmus gibt, den man in die Welt entlassen kann und der alles von Grund auf lernt. Wenn jemand so etwas baut, werde ich falsch liegen und es wird der unglaublichste Durchbruch in der AI sein. Meiner Meinung nach sind Tiere überhaupt kein Beispiel dafür - sie sind durch Evolution mit einer Menge Intelligenz vorverpackt, und das Lernen, das sie tun, ist insgesamt ziemlich minimal (Beispiel: Zebra bei der Geburt). Wenn wir unsere Ingenieurausrüstung anlegen, werden wir die Evolution nicht neu gestalten. Aber mit LLMs sind wir zufällig auf einen alternativen Ansatz gestoßen, um eine Menge Intelligenz in einem neuronalen Netzwerk "vorzuverpacken" - nicht durch Evolution, sondern indem wir das nächste Token über das Internet vorhersagen. Dieser Ansatz führt zu einer anderen Art von Entität im Bereich der Intelligenz. Unterscheidet sich von Tieren, mehr wie Geister oder Seelen. Aber wir können (und sollten) sie im Laufe der Zeit tierähnlicher machen, und in gewisser Weise geht es bei viel der Grenzarbeit darum. Zu RL. Ich habe RL bereits ein paar Mal kritisiert, z.B. . Zunächst einmal "saugst du die Aufsicht durch einen Strohhalm", sodass ich denke, das Signal/Flop ist sehr schlecht. RL ist auch sehr laut, weil eine Vollständigkeit viele Fehler haben könnte, die ermutigt werden könnten (wenn du zufällig die richtige Antwort findest), und umgekehrt brillante Einsichtstoken, die entmutigt werden könnten (wenn du später einen Fehler machst). Prozessaufsicht und LLM-Richter haben auch Probleme. Ich denke, wir werden alternative Lernparadigmen sehen. Ich bin für "agentische Interaktion" aber gegen "verstärkendes Lernen". Ich habe in letzter Zeit eine Reihe von Arbeiten gesehen, die meiner Meinung nach in die richtige Richtung gehen, entlang der Linien dessen, was ich "Systemprompt-Lernen" genannt habe, aber ich denke, es gibt auch eine Lücke zwischen Ideen auf arxiv und der tatsächlichen, skalierbaren Implementierung in einem LLM-Grenzlabor, das auf allgemeine Weise funktioniert. Insgesamt bin ich ziemlich optimistisch, dass wir bald gute Fortschritte in diesem Bereich der verbleibenden Arbeit sehen werden, und z.B. würde ich sogar sagen, dass ChatGPT-Speicher und so weiter urzeitliche implementierte Beispiele neuer Lernparadigmen sind. Kognitiver Kern. Mein früherer Beitrag zum "kognitiven Kern": , die Idee, LLMs zu entschlacken, es ihnen schwerer zu machen, zu memorieren, oder aktiv ihr Gedächtnis abzubauen, um sie besser in der Generalisierung zu machen. Andernfalls verlassen sie sich zu sehr auf das, was sie memoriert haben. Menschen können nicht so leicht memorieren, was jetzt im Vergleich mehr wie ein Feature als ein Bug aussieht. Vielleicht ist die Unfähigkeit zu memorieren eine Art Regularisierung. Auch mein Beitrag von vor einiger Zeit, wie der Trend in der Modellgröße "rückwärts" ist und warum "die Modelle zuerst größer werden müssen, bevor sie kleiner werden können". Zeitreise zu Yann LeCun 1989. Dies ist der Beitrag, den ich im Podcast sehr hastig/schlecht beschrieben habe: . Grundsätzlich - wie viel könntest du Yann LeCuns Ergebnisse mit dem Wissen über 33 Jahre algorithmischen Fortschritt verbessern? Wie stark waren die Ergebnisse durch jeden der Algorithmen, Daten und Rechenleistung eingeschränkt? Fallstudie dazu. Nanochat. Meine End-to-End-Implementierung der ChatGPT-Trainings-/Inference-Pipeline (die bare essentials). Zu LLM-Agenten. Meine Kritik an der Branche ist mehr, dass sie die Werkzeuge im Vergleich zu den gegenwärtigen Fähigkeiten übertreiben. Ich lebe in einer Welt, die ich als intermediär betrachte, in der ich mit LLMs zusammenarbeiten möchte und wo unsere Vor- und Nachteile aufeinander abgestimmt sind. Die Branche lebt in einer Zukunft, in der vollständig autonome Entitäten parallel zusammenarbeiten, um den gesamten Code zu schreiben, und Menschen nutzlos sind. Zum Beispiel möchte ich keinen Agenten, der 20 Minuten weggeht und mit 1.000 Zeilen Code zurückkommt. Ich fühle mich sicherlich nicht bereit, ein Team von 10 von ihnen zu beaufsichtigen. Ich möchte in Portionen arbeiten, die ich im Kopf behalten kann, wo ein LLM den Code erklärt, den es schreibt. Ich möchte, dass es mir beweist, dass das, was es getan hat, korrekt ist, ich möchte, dass es die API-Dokumentation heranzieht und mir zeigt, dass es die Dinge korrekt verwendet hat. Ich möchte, dass es weniger Annahmen trifft und mich fragt/kollaboriert, wenn es sich über etwas nicht sicher ist. Ich möchte auf dem Weg lernen und besser werden als Programmierer, nicht nur Berge von Code serviert bekommen, von dem mir gesagt wird, dass es funktioniert. Ich denke einfach, dass die Werkzeuge realistischer in Bezug auf ihre Fähigkeiten und wie sie heute in die Branche passen, sein sollten, und ich befürchte, dass, wenn dies nicht gut gemacht wird, wir am Ende mit Bergen von Schrott enden könnten, die sich in der Software ansammeln, und eine Zunahme von Schwachstellen, Sicherheitsverletzungen usw. Jobautomatisierung. Wie die Radiologen großartig abschneiden und welche Jobs anfälliger für Automatisierung sind und warum. Physik. Kinder sollten in der frühen Bildung Physik lernen, nicht weil sie Physik studieren, sondern weil es das Fach ist, das das Gehirn am besten auflädt. Physiker sind die intellektuellen embryonalen Stammzellen. Ich habe einen längeren Beitrag, der seit ~ einem Jahr halbgeschrieben in meinen Entwürfen liegt, den ich hoffentlich bald beenden kann. Nochmals vielen Dank, Dwarkesh, dass du mich eingeladen hast!