Oke, bacaan dasar tentang @Extropic_AI (@BasedBeffJezos) yang dapat saya gali selama sesi latihan saya. TLDR: Inferensi standar melibatkan melakukan banyak perhitungan matriks sekuensial dan paralel, tetapi pada akhirnya bermuara pada pengambilan sampel probabilistik. Extropic membangun chip yang melewati semua mesin matematika itu, dan sebagai gantinya hanya menyematkan distribusi probabilitas yang dipelajari dari set pelatihan yang mendasarinya, dan sampel langsung dari perangkat keras. Ini sangat keren!

Pada tingkat paling mendasar, LLM mengambil set pelatihan raksasa, terdiri dari token, dan mempelajari struktur antara kata, kalimat, dll. Mereka tidak beralasan, tetapi mereka – pada kenyataannya – mempelajari distribusi probabilitas yang sangat kompleks antar token. Misalnya, jika saya bertanya "Apa warna langit", itu akan melihat ke atas dalam PD yang dipelajari dan kemudian melihat ["The", "color", "of", "the", "sky", "is", "blue"] sebagai urutan probabilitas tertinggi. Itu sampai pada ini dengan melakukan banyak perhitungan matriks. Jika Anda ingin mempelajari mekanisme ini, Anda dapat melanjutkan dan membaca makalah Transformer asli, tetapi sejujurnya itu tidak terlalu penting. Yang penting adalah ini: 1. Langkah pelatihan: masukkan kumpulan data besar --> distribusi probabilitas output token. 2. Langkah inferensi: kueri input --pemetaan output > di bawah pengambilan sampel probabilitas. Btw, hasil yang sangat keren (meskipun agak jelas) di belakang adalah ... LLM bersifat injektif dan tidak dapat dibalik! Ini berarti bahwa ada pemetaan unik dari prompt ke ruang laten dan sebaliknya. Hella keren!

Pokoknya, tim Extropic kerja sangat keren! Btw, hari kaki hari ini dan itu luar biasa.