Ich war begeistert, an der morgendlichen Keynote von PyTorchCon teilzunehmen. Viele interessante Diskussionen: RL ist eine der vielversprechendsten Grenzen, da es das Imitationslernen übertrifft, weil es Ziele und nicht Demonstrationen lernt und Strategien entdeckt, die über die Trainingsdaten hinausgehen, die das überwachte Lernen nicht erreichen kann, wie die emergenten Denkspuren von o1. Aber Pre-Training ist nicht tot. Architektonische Durchbrüche wie Diffusionsmodelle für das Codieren und DeltaNet, das die Leistung des assoziativen Gedächtnisses verbessert, sind vielversprechende Grenzen. Meine Philosophie ist es, mutige Gründer zu unterstützen, die an den Grenzen bauen, z.B. Voyage AI, die Jahre bevor die Unternehmens-AI-Suche an Fahrt aufnahm, Vektor-Embeddings entwickelten.