In 2012 I participated in a small group discussion led by @doctorow. I chanced into it, but he painted a picture I've thought about often in the years since, and that has changed the way I see the world.

Berikut adalah makalah hebat oleh pemenang Nobel Philippe Aghion (dan Benjamin F. Jones dan Charles I. Jones) tentang AI dan pertumbuhan ekonomi. Kesimpulan utamanya adalah bahwa karena penyakit biaya Baumol, bahkan jika 99% ekonomi sepenuhnya otomatis dan produktif tanpa batas, tingkat pertumbuhan keseluruhan akan terseret ke bawah dan ditentukan oleh kemajuan yang dapat kita buat dalam 1% terakhir dari tugas-tugas penting dan sulit. Dan logika ini masih berlaku *bahkan* di dunia dengan AGI yang dapat mengotomatiskan *setiap* tugas yang dapat dilakukan manusia. Di dunia ini, tugas yang "sulit ditingkatkan" tidak lagi berpusat pada manusia, tetapi tugas yang berpusat pada fisika. Tingkat pertumbuhan ekonomi berhenti menjadi fungsi dari seberapa cepat/baik AGI dapat "berpikir" dan mulai menjadi fungsi dari seberapa cepat AGI dapat memanipulasi dunia fisik. Pada dasarnya, pasca-AGI tidak selalu berarti pasca-kelangkaan: seluruh biaya dan nilai ekonomi menjadi terkonsentrasi pada tugas-tugas yang dibatasi secara fisik: menghasilkan energi, sumber daya pertambangan, barang manufaktur, transportasi, dan sebagainya.

Saya bersumpah setiap organisasi penelitian telah berjuang dengan: "Bagaimana kita berbagi lebih banyak WIP tanpa orang memperlakukannya sebagai final?" Suka bagaimana mengklik halaman Catatan baru @METR_Evals mengubah seluruh situs menjadi font tulisan tangan dan latar belakang kapur. Visual yang kuat berteriak "tidak serius, ini kasar".