Microsoft. Google. AWS. Semua orang mencoba memecahkan masalah yang sama untuk Agen AI: Bagaimana cara membuat grafik pengetahuan yang cukup cepat untuk aplikasi LLM waktu nyata? FalkorDB adalah database grafik sumber terbuka yang memecahkan ini dengan menata ulang cara kerja grafik. Ini menggunakan matriks jarang dan aljabar linier alih-alih traversal tradisional! Mari kita pahami apa yang membuatnya begitu cepat: Database grafik tradisional menyimpan hubungan sebagai node tertaut dan melintasinya satu lompatan pada satu waktu. Tapi ada masalah: Saat Anda mengkueri koneksi, database berjalan melalui simpul dan tepi seperti mengikuti peta. Untuk grafik pengetahuan besar yang menggerakkan agen AI, ini menciptakan kemacetan yang serius. Tetapi bagaimana jika Anda dapat mewakili seluruh grafik sebagai struktur matematika? Di sinilah matriks jarang masuk. Matriks jarang hanya menyimpan koneksi yang ada. Tidak ada ruang yang terbuang, tidak ada data yang tidak perlu. Hanya hubungan yang penting. Dan inilah terobosannya: Setelah grafik Anda adalah matriks jarang, Anda dapat mengkuerinya menggunakan aljabar linier, bukan traversal. Kueri Anda menjadi operasi matematika, bukan langkah demi langkah melalui simpul. Matematika lebih cepat daripada traversal. Jauh lebih cepat. Plus, matriks yang jarang membuat penyimpanan sangat efisien. Anda hanya menyimpan apa yang ada, yang berarti Anda dapat memasukkan grafik pengetahuan besar ke dalam memori tanpa membakar sumber daya. Jadi, mengapa tidak tetap berpegang pada Pencarian Vektor? Pencarian vektor cepat, tetapi hanya menangkap kesamaan naif. Mereka menemukan pola, tetapi melewatkan strukturnya. Grafik menangkap hubungan bernuansa antar entitas. Ini memastikan konteks yang diambil untuk Agen Anda sangat akurat dan relevan, bukan hanya "serupa". Dan inilah yang Anda dapatkan dengan FalkorDB: ↳ Database Grafik Multi-penyewa yang sangat cepat ↳ Penyimpanan yang efisien menggunakan representasi matriks jarang ↳ Kompatibel dengan OpenCypher (bahasa kueri yang sama dengan Neo4j) ↳ Dibangun khusus untuk aplikasi LLM dan memori agen ↳ Berjalan di Redis untuk penyebaran yang mudah Memulai membutuhkan satu perintah Docker. Saya mengujinya dengan klien Python mereka, dan perbedaan kinerjanya langsung terlihat. Jika Anda membangun agen AI yang membutuhkan akses real-time ke informasi yang terhubung, ini layak untuk dijelajahi. Bagian terbaiknya adalah 100% open-source! Saya telah membagikan tautan ke repositori GitHub mereka di tweet berikutnya!

Anda berada dalam wawancara ML Engineer di Google. Pewawancara: Kami perlu melatih LLM di 1.000 GPU. Bagaimana Anda memastikan semua GPU membagikan apa yang mereka pelajari? Anda: Gunakan server parameter pusat untuk menggabungkan dan mendistribusikan kembali bobot. Wawancara selesai. Inilah yang Anda lewatkan:

Google baru saja menjatuhkan "Perhatian adalah semua yang Anda butuhkan (V2)" Makalah ini dapat memecahkan masalah terbesar AI: Melupakan bencana. Ketika model AI mempelajari sesuatu yang baru, mereka cenderung melupakan apa yang mereka pelajari sebelumnya. Manusia tidak bekerja dengan cara ini, dan sekarang Google Research memiliki solusinya. Pembelajaran Bersarang. Ini adalah paradigma pembelajaran mesin baru yang memperlakukan model sebagai sistem masalah pengoptimalan yang saling berhubungan yang berjalan pada kecepatan yang berbeda - seperti bagaimana otak kita memproses informasi. Inilah mengapa ini penting: LLM tidak belajar dari pengalaman; Mereka tetap terbatas pada apa yang mereka pelajari selama pelatihan. Mereka tidak dapat belajar atau berkembang dari waktu ke waktu tanpa kehilangan pengetahuan sebelumnya. Nested Learning mengubah ini dengan melihat arsitektur model dan algoritme pelatihan sebagai hal yang sama - hanya "tingkat" pengoptimalan yang berbeda. Makalah ini memperkenalkan Hope, arsitektur proof-of-concept yang menunjukkan pendekatan ini: ↳ Harapan mengungguli model berulang modern pada tugas pemodelan bahasa ↳ Ini menangani memori konteks panjang lebih baik daripada model canggih ↳ Ini dicapai melalui "sistem memori kontinum" yang diperbarui pada frekuensi yang berbeda Ini mirip dengan bagaimana otak kita mengelola memori jangka pendek dan jangka panjang secara bersamaan. Kita mungkin akhirnya menutup kesenjangan antara AI dan kemampuan otak manusia untuk terus belajar. Saya telah membagikan tautan ke makalah di tweet berikutnya!