Die nächste Generation von Startups mit einer Bewertung von über 10 Milliarden wird durch die Skalierung des Trainings in einer internen RL-Umgebung aufgebaut. Wir leben in einem Überfluss an Fähigkeiten und dennoch haben wir nur zwei große KI-Produkte, ChatGPT und Coding-Agent, und das frustriert mich zutiefst. Die aktuelle Lieferkette der künstlichen Intelligenz ist strukturell kaputt, mit einem Hardware-Anbieter und ein paar riesigen KI-Spielern, die alle Intelligenzraffinerien besitzen, während Entwickler mit API-Zugriff ohne nennenswerte Kontrolle zurückgelassen werden. Als ob die Internet-Ära mit Intel, das CPUs an vier große Cloud-Anbieter verkauft, aufgebaut wurde, die die gesamte Infrastruktur und den Software-Stack mit Geheimnissen und NDAs überflutet haben und WordPress als Entwicklungskit an Startups geben. Warum hat Perplexity nicht tiefgehende Forschung erfunden? Sie konnten einfach nicht, weil es mit RL trainiert wird. Meine Vorhersage für die nächsten Jahre: RL wird das leistungsstärkste Toolkit für den Aufbau von KI-Produkten in Startups werden. Wir werden Hunderte von Erfolgsgeschichten wie Cursor und Lovable sehen. Die Endbenutzer werden am meisten davon profitieren. Große Labore werden sich in Produktunternehmen entwickeln, OAI wird sich auf den Verbrauchermarkt konzentrieren, Anthropic auf Coding-Agenten, DeepMind wird KI in alle Google-Geschäfte integrieren, Meta und XAI werden um soziale Medien kämpfen. Wir werden das Entstehen eines Ökosystems von KI-Infrastruktur-Startups sehen, die Rechenleistung verkaufen, Grundmodelle trainieren, Daten kuratieren, RL-Umgebungen aufbauen und günstige Inferenz und Training anbieten, unterstützt von offener Wissenschaft und Open-Source-Software. @PrimeIntellect ist Pionier in diesem Ökosystem, und die Vision eines Open-Source-AGI-RL-Umgebungs-Hubs ist eines der ersten Schlüsselstücke.

Claude ist gut darin, Ideen für die Einrichtung von verteiltem Training zu entwickeln, aber absolut schlecht darin, einfache Codeänderungen umzusetzen. Naja, ich schätze, ich muss wieder selbst coden.

Wenn ich einen neuen Trainings-Codebase teste und keine Debug-Konfiguration sehe, die es mir ermöglicht, einen kurzen Lauf auf begrenzter Hardware durchzuführen, beginne ich, die Fähigkeit des Entwicklers in Frage zu stellen, das Repository zu pflegen.

Basierend auf meiner Schätzung sollten wir innerhalb der nächsten 3 Monate 1 Million GitHub-Sterne erreichen.

14 Tage der Verteilung, Tag 7! Lernen Sie Sami Jaghouar (@samsja19) von @PrimeIntellect kennen: Sami leitet deren Forschung und konzentriert sich auf dezentrales Pretraining und verteiltes Reinforcement Learning im Rahmen seiner Arbeit. Sami wird einen Vortrag darüber halten, wie die Implementierung von dezentralem Training bei Prime aussieht.

Der letzte GPU-Modus-Hackathon war der beste Hackathon, an dem ich je persönlich teilgenommen habe. Ich freue mich auf den nächsten.

Es scheint, dass andere Leute dazu neigen, vllm v1 logprob für das Wichtigkeitsverhältnis zu verwenden, um das Stabilitätsproblem zu beheben. Ich glaube, ich habe PTSD von dieser Art von RL-Absturz.

Ich stelle einen Forschungsingenieur bei @PrimeIntellect ein. Wir bauen ein Open-Source-AGI-Labor und suchen nach rohem Talent. Uns interessiert nicht, welchen Jobtitel du vorher hattest. Jeder im Forschungsteam ist Full-Stack, wir bauen Infrastruktur und schauen uns auch Daten an. Wenn du eine Vorliebe für Systeme, Reinforcement Learning, Daten oder Skalierungsgesetze hast, wirst du mit einer Menge Herausforderungen konfrontiert.

Aufmerksamkeit ist alles, was du brauchst, aber der Agent muss immer noch nach Code suchen, der bereits im Kontext vorhanden ist.

Vorhersage: RL-Umgebungen werden das nächste große Ding in der KI Ende 2025 / Anfang 2026 sein. Sie werden sehen, dass Startups in jeder Branche gegründet werden, Gesundheitswesen, Ingenieurwesen, Marketing, Vertrieb usw.