Sangat bersemangat untuk bergabung dengan keynote pagi untuk PyTorchCon. Banyak diskusi yang menyenangkan: RL adalah salah satu perbatasan yang paling menjanjikan karena mengungguli pembelajaran imitasi karena mempelajari tujuan bukan demonstrasi, menemukan strategi di luar data pelatihan yang tidak dapat dicapai oleh pembelajaran yang diawasi, seperti jejak penalaran o1 yang muncul. Tapi pra-pelatihan belum mati. Terobosan arsitektur seperti model difusi untuk pengkodean dan DeltaNet meningkatkan kinerja memori asosiatif adalah perbatasan yang menjanjikan. Filosofi saya adalah mendukung pendiri berani yang membangun di perbatasan, misalnya penyematan vektor pembuatan Voyage AI bertahun-tahun sebelum pencarian AI perusahaan lepas landas.