Google baru saja menjatuhkan "Perhatian adalah semua yang Anda butuhkan (V2)" Makalah ini dapat memecahkan masalah terbesar AI: Melupakan bencana. Ketika model AI mempelajari sesuatu yang baru, mereka cenderung melupakan apa yang mereka pelajari sebelumnya. Manusia tidak bekerja dengan cara ini, dan sekarang Google Research memiliki solusinya. Pembelajaran Bersarang. Ini adalah paradigma pembelajaran mesin baru yang memperlakukan model sebagai sistem masalah pengoptimalan yang saling berhubungan yang berjalan pada kecepatan yang berbeda - seperti bagaimana otak kita memproses informasi. Inilah mengapa ini penting: LLM tidak belajar dari pengalaman; Mereka tetap terbatas pada apa yang mereka pelajari selama pelatihan. Mereka tidak dapat belajar atau berkembang dari waktu ke waktu tanpa kehilangan pengetahuan sebelumnya. Nested Learning mengubah ini dengan melihat arsitektur model dan algoritme pelatihan sebagai hal yang sama - hanya "tingkat" pengoptimalan yang berbeda. Makalah ini memperkenalkan Hope, arsitektur proof-of-concept yang menunjukkan pendekatan ini: ↳ Harapan mengungguli model berulang modern pada tugas pemodelan bahasa ↳ Ini menangani memori konteks panjang lebih baik daripada model canggih ↳ Ini dicapai melalui "sistem memori kontinum" yang diperbarui pada frekuensi yang berbeda Ini mirip dengan bagaimana otak kita mengelola memori jangka pendek dan jangka panjang secara bersamaan. Kita mungkin akhirnya menutup kesenjangan antara AI dan kemampuan otak manusia untuk terus belajar. Saya telah membagikan tautan ke makalah di tweet berikutnya!