Chamath: Dua istilah yang perlu Anda perhatikan dalam AI adalah Prefill dan Decode "Ada dua istilah yang saya pikir Anda akan mendengar banyak tentang beberapa tahun ke depan ini." "Istilah pertama adalah prefill, dan berikutnya adalah decode." "Apa itu prefill dan decode, adalah dua cara yang sangat berbeda tentang bagaimana model berpikir, dan bagaimana model melalui proses menjawab pertanyaan yang Anda ajukan." "Jadi ketika Anda mengirim prompt ke AI, yang terjadi adalah model memprosesnya. Ini disebut fase membaca atau prefill." "Itu membaca seluruh prompt Anda sekaligus. Dan kemudian ia melakukan banyak matematika, menghitung semua hubungan antara semua kata, dan menyimpannya dalam memori sementara." "Masalahnya adalah bahwa ini benar-benar terikat komputasi. Jadi itu membutuhkan kekerasan besar. Dan GPU Nvidia hancur di sini." "Dan arsitektur mereka dirancang untuk pemrosesan paralel besar-besaran, yang membuat mereka benar-benar luar biasa dalam mencerna petunjuk panjang ini." "Jadi masalahnya semakin besar, Nvidia benar-benar mendominasi." "Tapi fase berikutnya, fase kritis ini, fase dekode, adalah fase penulisan, kan?" "Jadi model mulai menghasilkan tanggapan, Anda mengajukan pertanyaan dan tanggapannya, satu token pada satu waktu." "Dan kemudian untuk memilih token berikutnya untuk memilih kata berikutnya, ia harus melihat kembali semua yang telah dikatakannya agar tidak berhalusinasi." "Masalahnya adalah bahwa ini sangat dibatasi bandwidth memori." "Dan dalam arsitektur kami, sejak lama, kami membuat keputusan desain ini sejak hari pertama." "Jadi apa yang kami lakukan adalah kami mengambil pendekatan arsitektur yang sangat berbeda, kami mengambil teknologi proses yang sangat konservatif. Kami tidak mendorong batas-batas fisika." "Dan kami menggunakan banyak yang disebut SRAM. Jadi memori pada chip sehingga kami dapat melakukan dekode ini dengan baik atau lebih baik dari orang lain." "Jadi sekarang ketika Anda menyatukan dua hal ini, saya hanya berpikir itu akan menciptakan akselerasi besar dalam kemampuan seluruh lapisan infrastruktur ini untuk menjadi jauh lebih murah dan jauh lebih berharga, yang saya duga kemudian akan memiliki lebih banyak daya tarik pengembang, Anda akan mendapatkan lebih banyak aplikasi yang dibangun, miliaran dan miliaran lebih banyak orang yang menggunakannya."

Chamath: Penipuan dalam skala ini akan mengakhiri Kekaisaran Amerika jika tidak ada yang dilakukan "Ini adalah momen yang sulit bagi masyarakat Amerika." "Jika tidak ada yang terjadi dan kami menganggap pencurian semacam ini dapat diterima, itu adalah awal dari akhir Kekaisaran Amerika." "Itu hanya tingkat ketidakhormatan dan kurangnya perhatian terhadap negara ini." "Saya akan menunggu dan mengamati betapa pentingnya untuk membasmi ini, itu nomor satu." "Yang kedua, yang lebih merupakan kalkulus politik yang lebih taktis, ini adalah peluang besar bagi Partai Republik jika mereka mengambil ini dan mencalonkan diri dengan ini." "Apakah ada pemborosan, penipuan, dan penyalahgunaan di setiap negara bagian? Tentu saja. Saya tidak berpikir ini adalah masalah Demokrat secara endemik, tetapi skalanya sangat besar di negara-negara bagian Demokrat ini sehingga jika Partai Republik tidak memanfaatkannya, saya pikir itu adalah kesalahan perhitungan politik yang sangat besar." "Jadi ada peluang taktis ini, yang saya pikir jika Anda ingin memiliki kesempatan di paruh waktu dan jika Anda umumnya ingin memiliki kesempatan untuk menyamakan kedudukan negara, Anda harus mengambil ini dan menjalankannya." "Dan kemudian secara terpisah, jika seperti yang dikatakan Friedberg, ia mati di pohon anggur, itu adalah awal dari akhir Kekaisaran Amerika, sayangnya."