Траєкторія майбутнього незабаром може стати непорушною. У новій статті я розглядаю механізми, за допомогою яких довгостроковий курс майбутнього може бути визначений протягом нашого життя. До них відносяться створення інститутів, що впроваджуються за допомогою AGI, глобальна концентрація влади, широке заселення космосу, перші безсмертні істоти, широке проектування нових істот і здатність до самомодифікації значними і тривалими способами. Я не дуже впевнений, що такі події відбудуться, але, на мою думку, їх, швидше за все, достатньо, щоб зробити роботу зі спрямування їх у кращому напрямку дуже цінною. Розглянемо кожен механізм по черзі. По-перше, заклади на базі AGI. Після того, як ми отримаємо AGI, особи, які приймають рішення, можуть: - Створити установу та узгодити AGI таким чином, щоб вона розуміла цю конституцію і мала на меті виконання цієї конституції. - Наділити AGI здатністю забезпечувати виконання конституції. - Зберігайте копії нейронних ваг AGI в декількох місцях, щоб зменшити ризик знищення будь-якої з копій. - Перезавантажте оригінальний Constitutional-AGI, щоб перевірити, що будь-які AGI, яким доручено забезпечити дотримання конституції, зберігають дотримання своїх початкових цілей, оскільки ці AGI навчаються та оновлюють свої нейронні ваги з часом. Це виглядало б так, якби замість того, щоб Верховний суд тлумачив Конституцію США, ми могли б викликати в уяві привидів Медісона і Гамільтона і запитати їх безпосередньо - і їх погляди були вирішальними. З урахуванням цього, ця конституція, що виконується AGI, може діяти нескінченно. По-друге, безсмертя. Протягом усієї історії смерть функціонувала як природне гальмо для стійкості будь-якого конкретного набору цінностей або владних структур. З часом навіть найбільш укорінені цінності з часом змінюються, оскільки на зміну старим приходять нові покоління. Технологія після AGI може докорінно змінити цю динаміку. Цифрові істоти за своєю природою будуть несприйнятливі до біологічного старіння; У поєднанні з ідеальною реплікацією та апаратною міграцією ми зможемо створити розум, точні цінності та процеси прийняття рішень яких можуть зберігатися незмінними нескінченно довго. Аналогічна динаміка може бути справедливою і для біологічного безсмертя. Технологічний вибух, викликаний AGI, може різко розширити або ефективно усунути біологічні обмеження на тривалість людського життя за допомогою технологій, спрямованих на фундаментальні механізми старіння. По-третє, проектування істот. Протягом історії зміни відбувалися частково тому, що наступні покоління не успадковували тих самих цінностей, що й їхні попередники. Але ця динаміка може змінитися після AGI. Ймовірно, переважна більшість істот, яких ми створюємо, будуть штучним інтелектом, а вони будуть продуктами дизайну — ми зможемо вибирати, які у них є переваги. І, маючи достатні технологічні можливості, ми, швидше за все, також зможемо вибирати переваги наших біологічних нащадків. Навіть якщо люди вирішать не жити вічно, їхні цінності можуть продовжувати існувати завдяки досконалій передачі від одного покоління до іншого. По-четверте, сильна самомодифікація. У майбутньому люди, ймовірно, зможуть модифікувати свої власні переконання та уподобання таким чином, щоб вони могли точно вибирати, які переконання та уподобання мати. Таким чином, люди сьогодні не тільки можуть контролювати майбутні цінності суспільства, живучи вічно; Вони також зможуть контролювати цінності свого майбутнього «я». Релігійний фанатик може вирішити мати непохитну впевненість у тому, що його улюблена релігія істинна; Ідеологічний екстреміст може вирішити мати безповоротну і непохитну перевагу на користь своєї політичної партії над будь-якою іншою. Окрім створення нових механізмів, які забезпечують постійну залежність від шляху, світ після AGI також може зменшити причини збоїв. Протягом усієї історії суспільні зміни часто були спричинені технологічними інноваціями, які руйнують існуючі владні структури. Однак у міру того, як цивілізація наближається до технологічної зрілості – гіпотетичної точки, в якій були винайдені всі основні технології – це джерело руйнувань зникне. Передові технології допоможуть запобігти й іншим видам збоїв. Це значно покращило б можливості прогнозування: передові системи штучного інтелекту могли б обробляти набагато більше інформації, моделювати складні системи з більшою точністю та прогнозувати результати на більш тривалих часових горизонтах. Тому набагато менше шансів, що люди відмовляться від свого впливу, просто зробивши якусь помилку. Нарешті, світ після AGI може характеризуватися невизначеним домінуванням в обороні, що забезпечує постійну стабільну концентрацію сили. Зокрема, невизначене домінування в обороні могло виникнути в результаті широкого заселення космосу. Якщо зоряні системи сильно домінують в обороні, то початковий розподіл зоряних систем в принципі може утримуватися нескінченно. Можливо, після первісного розподілу відбувається торгівля або дарування якихось зоряних систем; Але навіть якщо це так, все одно існуватиме дуже сильна залежність від шляху, оскільки на кінцевий розподіл зоряних систем надзвичайно впливатиме початковий розподіл. Ці питання можуть здатися далекими проблемами, але розвідувальні та промислові вибухи роблять їх короткостроковими. Я думаю, що це більш ніж 1 з 3, коли ми бачимо вибух інтелекту, який почнеться в найближчі 10 років. І якщо передовий штучний інтелект призведе до вибухового технологічного прогресу та промислової експансії, то багато нових механізмів наполегливості з'являться у швидкій послідовності.

Стаття тут: