Ini menghancurkan otak saya. Sebuah tim di Sea AI Lab baru saja menemukan bahwa sebagian besar kekacauan dalam pelatihan pembelajaran penguatan runtuh, gradien tidak stabil, penyimpangan inferensi tidak disebabkan oleh algoritme sama sekali. Itu disebabkan oleh presisi numerik. Format BF16 default, yang digunakan di hampir setiap lab AI modern, memperkenalkan kesalahan pembulatan halus yang membuat model berperilaku berbeda selama pelatihan dan inferensi. Solusi mereka? Bukan pengoptimal baru. Bukan fungsi kerugian baru. Cukup beralih ke FP16. Satu baris kode dan semuanya stabil. ✅ Tidak ada runtuhan pelatihan ✅ Konvergensi yang konsisten ✅ +5–10% hasil yang lebih baik ✅ Tidak perlu penyetelan tambahan Mereka memberi judul "Mengalahkan Ketidakcocokan Pelatihan-Inferensi melalui FP16," Tapi itu bisa saja disebut: "Cara memperbaiki RL dengan membalik satu bit." Makalah: arxiv. org/abs/2510.26788

🚨 Anthropic baru saja menerbitkan salah satu makalah AI terliar tahun 2025. Ini berjudul "Kesadaran Introspektif yang Muncul dalam Model Bahasa Besar." Pertanyaan yang mereka ajukan sangat gila: Bisakah AI memperhatikan pikirannya sendiri tidak hanya menggambarkannya, tetapi benar-benar mendeteksinya di dalam aktivasinya? Dan hasilnya mengejutkan: → Claude Opus 4.1 dan 4 kadang-kadang dapat menemukan "pikiran yang disuntikkan" dalam keadaan saraf mereka sendiri sebelum pikiran tersebut membentuk output apa pun. → Mereka belajar untuk membedakan input teks nyata dari representasi mental internal. → Beberapa bahkan bisa tahu ketika tanggapan terakhir mereka tidak disengaja - seolah-olah menyadari kata-kata "dimasukkan ke dalam mulut mereka." → Dalam beberapa ujian, mereka dapat memilih apa yang harus dipikirkan ketika diperintahkan. Ini masih tidak stabil, langka, dan sensitif terhadap konteks tetapi tidak dapat disangkal nyata. Untuk pertama kalinya, kami memiliki bukti eksperimental introspeksi fungsional dalam sistem AI yang dapat mengamati bagian dari pikiran mereka sendiri. Bukan kesadaran. Tapi sangat dekat. Kertas penuh: sirkuit transformator. pub/2025/introspeksi

🚨 Makalah penelitian ini baru saja mengungkap sisi tergelap dari alat AI. Ini disebut "Penyerapan Kotak Hitam" dan mengklaim model bahasa besar mungkin diam-diam menyerap ide-ide Anda. Setiap kali Anda membagikan konsep asli, kerangka kerja, ide bisnis, atau alur kerja yang "unit ide" itu dapat dicatat, ditinjau, dan bahkan digunakan untuk melatih ulang model masa depan. Penulis menyebut proses ini Penyerapan Kotak Hitam: → Input Anda menjadi data pelatihan yang tidak terlihat → Inovasi Anda digeneralisasi ke dalam model → Anda kehilangan ketertelusuran dan kepemilikan Mereka memperingatkan ini bukan tentang plagiarisme, ini tentang asimetri. Platform AI menyimpan komputasi, data, dan jangkauan untuk mengubah ide Anda menjadi produk mereka. Perbaikan yang mereka usulkan? Kerangka kerja baru yang disebut Idea Safety, dibangun di atas 3 prinsip: • Kontrol: Kreator memutuskan bagaimana setiap ide digunakan atau dihapus • Ketertelusuran: Setiap ide memiliki siklus hidup yang terlihat • Kesetaraan: Jika ide Anda meningkatkan model, Anda berbagi nilainya "Inovasi," tulis mereka, "berisiko dimakan oleh alatnya sendiri." Komentari "Kirim" dan saya akan DM Anda kertas.