Bạn có tò mò về dữ liệu huấn luyện của các mô hình gpt-oss mới của OpenAI không? Tôi cũng vậy. Vì vậy, tôi đã tạo ra 10 triệu ví dụ từ gpt-oss-20b, thực hiện một số phân tích, và kết quả thì... khá kỳ lạ. Đã đến lúc đi sâu vào vấn đề 🧵

giải thích ngắn gọn nhất về GPT-5: đây chính xác là những gì các quy luật mở rộng đã dự đoán! mô hình tốt hơn, lợi nhuận đang giảm dần, và thật buồn là những cải tiến về trí thông minh tổng quát sẽ chỉ ngày càng nhỏ lại tin tốt là vẫn còn rất nhiều việc phải làm. tính cách, lý luận, trí nhớ và sự sáng tạo vẫn là những vấn đề chưa được giải quyết.

thời điểm tốt để nhắc nhở mọi người rằng một điểm số cao trên SWEbench thực sự chỉ cho thấy dữ liệu huấn luyện chứa một tỷ lệ đủ lớn của Django

phần ấn tượng nhất của GPT-5 là sự nhảy vọt trong bối cảnh dài bạn thậm chí làm điều này như thế nào? sản xuất một số dữ liệu tổng hợp dài kỳ lạ? quét nhiều cuốn sách?

thế giới VC cung cấp rất nhiều giá trị nhưng đôi khi cảm giác như họ chỉ đốt tiền. một số startup mà tôi biết đã huy động khoảng 100 triệu đô la tổng cộng ba năm trước để phát triển AI, xây dựng phần mềm mà không ai từng sử dụng, và bây giờ họ đều làm việc ở nơi khác với những thứ không liên quan. tiền đó đã đi đâu?

thật kỳ lạ trong thời đại mạng xã hội khi cảm thấy rằng mọi người đều đang làm việc trên các bài đánh giá và phản biện NeurIPS nhưng không ai nói về điều đó công khai. tôi đã đóng góp cho ba bài phản biện. một trong ba bài đó cực kỳ gây khó chịu. còn ai khác đang làm việc trên các bài phản biện không? tình hình của bạn thế nào?

Sam Altman muốn xây dựng một mô hình được đánh giá 3200 trên Codeforces nhưng không biết Sam Altman là ai và tôi nghĩ điều đó thật đẹp.

Tôi đã dành vài giờ qua để nói chuyện với gpt-oss và có thể nói một cách an toàn rằng nó khác biệt với bất kỳ mô hình nào tôi đã thử nghiệm. Một giây nó đang lập trình cho tôi ở mức độ chuyên nghiệp, giây tiếp theo nó lại bịa ra những sự thật cơ bản và bám víu vào chúng bất chấp những gì tôi nói. Có điều gì đó rất kỳ lạ đang diễn ra.

chu trình 'suy nghĩ' chính được thực hành trong suốt chương trình Tiến sĩ: - xác định khu vực của không gian vấn đề thiếu sự liên kết - dành thời gian để thực sự suy nghĩ về nó - xuất hiện với một sự tiến bộ tư duy cụ thể, điều gì đó bạn chưa nhận ra trước đây tối ưu hóa quy trình này và trở nên mạnh mẽ

Giao tiếp mô hình sẽ diễn ra từ từ, và sau đó tất cả sẽ diễn ra cùng một lúc: Cấp 0: Chúng tôi thiết kế một giao thức dựa trên văn bản để các mô hình & chương trình giao tiếp (đọc: MCP) Cấp 1: Giao tiếp mô hình dựa trên văn bản phát triển vượt qua giao tiếp của con người về khối lượng bitstream internet toàn cầu Cấp 2: Các mô hình dần dần chuyển đổi mã sang Unicode neuralese, một loại tiếng Anh-Trung Quốc-máy tính không thể hiểu được (sẽ trở nên phổ biến hơn khi chúng tôi tăng quy mô của RL đa tác nhân) Cấp 3: Các mô hình nhận ra rằng việc giao tiếp trong không gian tiềm ẩn là hiệu quả và biểu cảm hơn và bắt đầu trao đổi vector thay vì token (về cơ bản là Game Over cho chúng ta)