aneh di era media sosial untuk merasa bahwa semua orang sedang mengerjakan ulasan & bantahan NeurIPS tetapi tidak ada yang membicarakannya secara publik. Saya berkontribusi pada tiga bantahan. Salah satu dari ketiganya sangat membuat frustrasi. Siapa lagi yang mengerjakan bantahan? Bagaimana kabarmu?

Sam Altman ingin membangun model yang diberi peringkat 3200 di CodeForces tetapi tidak tahu siapa Sam Altman Dan saya pikir itu indah

Saya telah menghabiskan beberapa jam terakhir berbicara dengan GPT-OSS dan dapat dengan aman mengatakan itu tidak seperti model apa pun yang telah saya uji satu detik itu pengkodean untuk saya di tingkat profesional, berikutnya itu mengarang fakta dasar dan berpegang teguh padanya tidak peduli apa yang saya katakan Sesuatu yang sangat aneh sedang terjadi

'siklus pemikiran' utama yang dipraktekkan selama PhD: - mengidentifikasi wilayah ruang masalah yang kurang koherensi - sisihkan waktu untuk benar-benar memikirkannya - muncul dengan kemajuan pemikiran yang konkret', sesuatu yang belum Anda sadari sebelumnya optimalkan proses ini dan menjadi kuat

Model Komunikasi akan terjadi perlahan, dan kemudian sekaligus: Level 0: Kami merancang protokol berbasis teks untuk model & program untuk berkomunikasi (baca: MCP) Level 1: Komunikasi model berbasis teks tumbuh melebihi komunikasi manusia dalam volume bitstream internet di seluruh dunia Level 2: Model secara bertahap beralih kode ke Unicode neuralese, beberapa jenis hibrida bahasa Inggris-Cina-komputer-berbicara yang tidak dapat dipahami (akan tumbuh lebih umum saat kami meningkatkan skala RL multiagen) Level 3: Model menyadari bahwa lebih efisien dan ekspresif untuk berkomunikasi di ruang laten dan mulai bertukar vektor alih-alih token (pada dasarnya Game Over bagi kami)

RETRO (DeepMind, 2021) adalah ide yang indah, yang sangat perlu ditinjau kembali Inovasi utama retro adalah memiliki model kecil yang memutuskan token apa yang akan diprediksi selanjutnya, tetapi mengalihdayakan semua pengetahuan ke penyimpanan data offline yang besar Ini memiliki manfaat tambahan karena memungkinkan Anda menyisipkan dan menghapus fakta secara modular dengan memodifikasi penyimpanan data, tanpa melatih ulang model Cocok dengan ideal model kecil (inti kognitif Karpathy, Yada) dengan sangat baik. Anda juga dapat melapisi lebih banyak alat, hanya dimulai dengan penyimpanan data bahasa yang merupakan alat Terpenting RETRO pantas mendapatkan lebih banyak pengakuan. Terutama sekarang model kecil menjadi jauh lebih baik

jejak penalaran ini telah membuatku terjaga di malam hari di sebelah kiri: model OpenAI baru yang mendapat emas IMO di sebelah kanan: DeepSeek R1 pada soal matematika acak Anda perlu menyadari bahwa sejak tahun lalu akademisi telah menghasilkan lebih dari SERIBU makalah tentang penalaran (mungkin lebih banyak lagi). kita praktis semua berpikir tentang penalaran tetapi semua sistem kami menghasilkan 'jejak berpikir' yang terlihat seperti DeepSeek di sebelah kanan. mereka luar biasa, sangat menjengkelkan, membakar token pada tingkat kelalaian yang tidak berbatas. Banyak alasan yang tidak perlu dan beberapa di antaranya sama sekali salah Tapi alasan di sebelah kiri, hal baru ini, adalah sesuatu yang sama sekali berbeda. jelas perubahan fungsi langkah. berpotensi metode yang sama sekali berbeda Ini jauh lebih dekat dengan penalaran *aktual*. tidak ada token yang terbuang-. jika ada, itu sangat singkat; Saya kira solusi manusia lebih bertele-tele dari ini jelas sesuatu yang sangat berbeda sedang terjadi. mungkin OpenAI mengembangkan proses pelatihan RLVR yang benar-benar baru. Mungkin ada beberapa pengumpulan data khusus dari para ahli. mungkin mereka mulai menghukum model karena berpikir berlebihan dengan cara yang benar-benar menguntungkannya entah bagaimana hal-hal yang sangat menarik... secara umum ini membuat saya bearish pada penalaran gaya R1

Saya ingin tahu apakah ini akan terjadi ketika kita mendapatkan LLM 10 triliun parameter

Sangat keren! Inspirasi dan pengingat yang bagus bahwa sebagian besar peneliti AI teratas, pada kenyataannya, tidak ada di twitter. Sebagian besar tidak men-tweet, banyak yang tidak memiliki akun orang-orang paling keras di sini, orang-orang yang paling banyak memposting tentang AI, biasanya hanya saudara teknologi anonim acak

seseorang tidak hanya "memecahkan" masalah penelitian Seseorang malah mengembangkan kerangka intelektual baru dari prinsip-prinsip pertama. mengajukan dan menjawab pertanyaan dan subpertanyaan, mungkin selama beberapa bulan Akhirnya, setelah meninjau kembali masalah aslinya, itu disadari sebagai hal sepele