Tại sao bạn nên ngừng nghiên cứu RL và thay vào đó làm việc trên sản phẩm // Công nghệ mở ra sự thay đổi quy mô lớn trong AI là internet, không phải máy biến áp Tôi nghĩ ai cũng biết rằng dữ liệu là điều quan trọng nhất trong AI, và các nhà nghiên cứu cũng chọn không làm việc với nó. ... Làm việc trên dữ liệu (theo cách có thể mở rộng) có nghĩa là gì? Internet cung cấp một nguồn dữ liệu phong phú, đa dạng, cung cấp một chương trình giảng dạy tự nhiên, đại diện cho các năng lực mà mọi người thực sự quan tâm và là một công nghệ khả thi về mặt kinh tế để triển khai trên quy mô lớn - nó trở thành sự bổ sung hoàn hảo cho dự đoán mã thông báo tiếp theo và là món súp nguyên thủy để AI cất cánh. Nếu không có máy biến áp, bất kỳ cách tiếp cận nào cũng có thể cất cánh, chúng ta có thể có CNN hoặc mô hình không gian trạng thái ở cấp độ GPT-4.5. Nhưng không có sự cải thiện đáng kể nào trong các mô hình cơ sở kể từ GPT-4. Các mô hình lý luận rất tuyệt vời trong các lĩnh vực hẹp, nhưng không có bước nhảy vọt lớn như GPT-4 vào tháng 3 năm 2023 (hơn 2 năm trước...) Chúng tôi có điều gì đó tuyệt vời với học tăng cường, nhưng nỗi sợ hãi sâu sắc của tôi là chúng tôi sẽ lặp lại những sai lầm trong quá khứ (RL thời đại 2015-2020) và thực hiện nghiên cứu RL không quan trọng. Theo cách internet là kép của đào tạo trước có giám sát, bộ đôi RL sẽ dẫn đến một tiến bộ lớn như GPT-1 -> GPT-4 là gì? Tôi nghĩ nó trông giống như đồng thiết kế nghiên cứu-sản phẩm.