Rất vui được tham gia cùng Dwarkesh tuần trước, tôi nghĩ rằng các câu hỏi và cuộc trò chuyện thật sự rất tốt. Tôi vừa xem lại podcast ngay bây giờ. Trước hết, vâng, tôi biết, và tôi xin lỗi vì tôi nói quá nhanh :). Điều đó có hại cho tôi vì đôi khi dòng suy nghĩ của tôi vượt qua dòng nói, vì vậy tôi nghĩ rằng tôi đã làm hỏng một vài giải thích do điều đó, và đôi khi tôi cũng lo lắng rằng mình đang đi quá xa vào một chủ đề nào đó hoặc quá sâu vào một điều gì đó tương đối không quan trọng. Dù sao, một vài ghi chú/gợi ý: Thời gian AGI. Những bình luận của tôi về thời gian AGI dường như là phần đang được quan tâm nhất trong phản hồi ban đầu. "Thập kỷ của các tác nhân" là một tham chiếu đến tweet trước đó. Cơ bản là thời gian AI của tôi bi quan hơn khoảng 5-10 lần so với những gì bạn sẽ thấy trong bữa tiệc AI ở khu phố của bạn hoặc trên dòng thời gian Twitter của bạn, nhưng vẫn khá lạc quan so với một làn sóng gia tăng của những người phủ nhận và hoài nghi về AI. Sự mâu thuẫn rõ ràng không phải là: theo ý kiến của tôi, chúng ta đồng thời 1) đã thấy một lượng lớn tiến bộ trong những năm gần đây với LLMs trong khi 2) vẫn còn rất nhiều công việc cần làm (công việc nặng nhọc, công việc tích hợp, cảm biến và bộ truyền động cho thế giới vật lý, công việc xã hội, công việc an toàn và bảo mật (bẻ khóa, đầu độc, v.v.)) và cũng cần nghiên cứu để hoàn thành trước khi chúng ta có một thực thể mà bạn muốn thuê thay vì một người cho một công việc tùy ý nào đó trên thế giới. Tôi nghĩ rằng tổng thể, 10 năm sẽ là một thời gian rất lạc quan cho AGI, chỉ là so với sự cường điệu hiện tại mà nó không cảm thấy như vậy. Động vật vs Ma. Bài viết trước đây của tôi về podcast của Sutton. Tôi nghi ngờ rằng có một thuật toán đơn giản nào đó mà bạn có thể thả ra thế giới và nó học mọi thứ từ đầu. Nếu ai đó xây dựng được một thứ như vậy, tôi sẽ sai và đó sẽ là một bước đột phá tuyệt vời trong AI. Trong tâm trí tôi, động vật không phải là một ví dụ của điều này - chúng được đóng gói sẵn với một lượng lớn trí thông minh bởi sự tiến hóa và việc học của chúng là khá tối thiểu tổng thể (ví dụ: Ngựa vằn khi mới sinh). Đeo mũ kỹ sư, chúng ta sẽ không làm lại sự tiến hóa. Nhưng với LLMs, chúng ta đã tình cờ tìm ra một cách tiếp cận thay thế để "đóng gói" một lượng lớn trí thông minh trong một mạng nơ-ron - không phải bằng sự tiến hóa, mà bằng cách dự đoán token tiếp theo qua internet. Cách tiếp cận này dẫn đến một loại thực thể khác trong không gian trí thông minh. Khác với động vật, giống như ma hoặc linh hồn. Nhưng chúng ta có thể (và nên) làm cho chúng giống động vật hơn theo thời gian và theo một số cách, đó là điều mà nhiều công việc tiên phong đang hướng tới. Về RL. Tôi đã chỉ trích RL một vài lần rồi, ví dụ. Đầu tiên, bạn đang "hút sự giám sát qua một cái ống hút", vì vậy tôi nghĩ rằng tín hiệu/khối lượng rất tệ. RL cũng rất ồn ào vì một hoàn thành có thể có nhiều lỗi mà có thể được khuyến khích (nếu bạn tình cờ tìm ra câu trả lời đúng), và ngược lại, những token sáng tạo tuyệt vời có thể bị khuyến khích (nếu bạn tình cờ làm sai sau đó). Giám sát quy trình và các thẩm phán LLM cũng có vấn đề. Tôi nghĩ rằng chúng ta sẽ thấy các mô hình học tập thay thế. Tôi rất ủng hộ "tương tác tác nhân" nhưng lại không ủng hộ "học tăng cường". Tôi đã thấy một số bài báo xuất hiện gần đây mà theo ý kiến của tôi đang đi đúng hướng theo những gì tôi gọi là "học hỏi từ hệ thống nhắc nhở", nhưng tôi nghĩ rằng cũng có một khoảng cách giữa các ý tưởng trên arxiv và việc triển khai thực tế, quy mô tại một phòng thí nghiệm LLM tiên phong hoạt động theo cách tổng quát. Tôi tổng thể khá lạc quan rằng chúng ta sẽ thấy tiến bộ tốt trong khía cạnh công việc còn lại này khá sớm, và ví dụ, tôi thậm chí sẽ nói rằng bộ nhớ ChatGPT và những thứ như vậy là những ví dụ triển khai nguyên thủy của các mô hình học tập mới. Cốt lõi nhận thức. Bài viết trước đây của tôi về "cốt lõi nhận thức": ý tưởng về việc cắt giảm LLMs, làm cho chúng khó ghi nhớ hơn, hoặc chủ động loại bỏ trí nhớ của chúng, để làm cho chúng tốt hơn trong việc tổng quát hóa. Nếu không, chúng sẽ dựa quá nhiều vào những gì chúng đã ghi nhớ. Con người không thể ghi nhớ dễ dàng như vậy, điều này giờ đây trông giống như một tính năng hơn là một lỗi khi so sánh. Có thể sự không thể ghi nhớ là một loại điều chỉnh. Cũng như bài viết của tôi từ một thời gian trước về cách xu hướng trong kích thước mô hình là "ngược lại" và tại sao "các mô hình phải lớn hơn trước khi chúng có thể nhỏ lại". Du hành thời gian đến Yann LeCun 1989. Đây là bài viết mà tôi đã mô tả một cách vội vàng/kém chất lượng trên podcast: Cơ bản - bạn có thể cải thiện kết quả của Yann LeCun bao nhiêu với kiến thức của 33 năm tiến bộ thuật toán? Kết quả bị hạn chế bởi từng thuật toán, dữ liệu và tính toán như thế nào? Nghiên cứu trường hợp ở đó. nanochat. Triển khai end-to-end của tôi về quy trình đào tạo/nhận diện ChatGPT (những điều cơ bản cần thiết). Về các tác nhân LLM. Sự chỉ trích của tôi đối với ngành công nghiệp là việc vượt quá công cụ so với khả năng hiện tại. Tôi sống trong một thế giới mà tôi xem là trung gian, nơi tôi muốn hợp tác với LLMs và nơi mà những ưu/nhược điểm của chúng được khớp lại. Ngành công nghiệp sống trong một tương lai mà các thực thể hoàn toàn tự động hợp tác song song để viết tất cả mã và con người trở nên vô dụng. Ví dụ, tôi không muốn một tác nhân đi ra ngoài trong 20 phút và quay lại với 1.000 dòng mã. Tôi chắc chắn không cảm thấy sẵn sàng để giám sát một đội 10 người như vậy. Tôi muốn làm việc theo từng phần mà tôi có thể giữ trong đầu, nơi một LLM giải thích mã mà nó đang viết. Tôi muốn nó chứng minh cho tôi rằng những gì nó đã làm là đúng, tôi muốn nó lấy tài liệu API và cho tôi thấy rằng nó đã sử dụng mọi thứ một cách chính xác. Tôi muốn nó đưa ra ít giả định hơn và hỏi/hợp tác với tôi khi không chắc chắn về điều gì đó. Tôi muốn học hỏi trong quá trình này và trở nên tốt hơn với tư cách là một lập trình viên, không chỉ nhận được những đống mã mà tôi được bảo là hoạt động. Tôi chỉ nghĩ rằng các công cụ nên thực tế hơn về khả năng của chúng và cách chúng phù hợp với ngành công nghiệp hiện nay, và tôi lo ngại rằng nếu điều này không được thực hiện tốt, chúng ta có thể kết thúc với những đống lộn xộn tích tụ trong phần mềm, và gia tăng các lỗ hổng, vi phạm an ninh, v.v. Tự động hóa công việc. Cách mà các bác sĩ chẩn đoán đang làm rất tốt và những công việc nào dễ bị tự động hóa hơn và tại sao. Vật lý. Trẻ em nên học vật lý trong giáo dục sớm không phải vì chúng sẽ tiếp tục làm vật lý, mà vì đó là môn học tốt nhất để khởi động một bộ não. Các nhà vật lý là tế bào gốc phôi thai trí tuệ. Tôi có một bài viết dài hơn đã được viết dở trong bản nháp của tôi khoảng một năm, mà tôi hy vọng sẽ hoàn thành sớm. Cảm ơn một lần nữa Dwarkesh vì đã mời tôi!