Tôi rất hào hứng tham gia buổi phát biểu chính buổi sáng tại PyTorchCon. Nhiều cuộc thảo luận thú vị: RL là một trong những lĩnh vực hứa hẹn nhất vì nó vượt trội hơn học bắt chước khi nó học các mục tiêu chứ không phải các minh chứng, khám phá các chiến lược vượt ra ngoài dữ liệu đào tạo mà học có giám sát không thể đạt được, như các dấu vết lý luận nổi lên của o1. Nhưng việc tiền huấn luyện không phải là đã chết. Những đột phá kiến trúc như các mô hình khuếch tán cho mã hóa và DeltaNet cải thiện hiệu suất bộ nhớ liên kết là những lĩnh vực hứa hẹn. Triết lý của tôi là ủng hộ những người sáng lập táo bạo xây dựng ở các ranh giới, ví dụ như Voyage AI xây dựng các nhúng vector nhiều năm trước khi tìm kiếm AI doanh nghiệp bùng nổ.