Quá trình tương lai có thể sớm được định hình. Trong một bài báo mới, tôi xem xét các cơ chế mà qua đó hướng đi của tương lai dài hạn có thể được xác định trong suốt cuộc đời của chúng ta. Những điều này bao gồm việc tạo ra các thể chế được thực thi bởi AGI, sự tập trung quyền lực toàn cầu, sự định cư rộng rãi trong không gian, những sinh vật bất tử đầu tiên, việc thiết kế rộng rãi các sinh vật mới, và khả năng tự điều chỉnh theo những cách quan trọng và lâu dài. Tôi không tự tin lắm rằng những sự kiện như vậy sẽ xảy ra, nhưng theo quan điểm của tôi, chúng có khả năng đủ cao để công việc hướng dẫn chúng theo những hướng tốt hơn trở nên rất có giá trị. Hãy xem xét từng cơ chế một. Đầu tiên, các thể chế dựa trên AGI. Khi chúng ta có AGI, những người ra quyết định có thể: - Thiết lập một thể chế, và điều chỉnh AGI sao cho nó hiểu hiến pháp đó và có việc thực thi hiến pháp đó là mục tiêu của nó. - Trao quyền cho AGI đó khả năng thực thi hiến pháp. - Lưu trữ các bản sao của trọng số thần kinh của AGI ở nhiều vị trí khác nhau để giảm thiểu rủi ro bị phá hủy của bất kỳ bản sao nào. - Tải lại AGI Hiến pháp gốc để kiểm tra rằng bất kỳ AGI nào được giao nhiệm vụ đảm bảo tuân thủ hiến pháp vẫn duy trì sự tuân thủ theo các mục tiêu ban đầu của chúng khi các AGI đó học hỏi và cập nhật trọng số thần kinh của chúng theo thời gian. Điều này sẽ giống như việc, thay vì để Tòa án Tối cao giải thích Hiến pháp Hoa Kỳ, chúng ta có thể triệu hồi các linh hồn của Madison và Hamilton và hỏi họ trực tiếp - và quan điểm của họ là quyết định. Với những điều này, hiến pháp được thực thi bởi AGI có thể hoạt động vô thời hạn. Thứ hai, sự bất tử. Trong suốt lịch sử, cái chết đã hoạt động như một phanh tự nhiên đối với sự tồn tại của bất kỳ bộ giá trị hoặc cấu trúc quyền lực nào. Theo thời gian, ngay cả những giá trị đã ăn sâu nhất cuối cùng cũng thay đổi khi các thế hệ mới thay thế thế hệ cũ. Công nghệ sau AGI có thể thay đổi cơ chế này một cách cơ bản. Những sinh vật kỹ thuật số sẽ tự nhiên miễn dịch với sự lão hóa sinh học; khi kết hợp với sự sao chép hoàn hảo và di chuyển phần cứng, chúng ta sẽ có thể tạo ra những tâm trí mà giá trị và quy trình ra quyết định của chúng có thể tồn tại không thay đổi vô thời hạn. Một động lực tương tự có thể xảy ra đối với sự bất tử sinh học. Một cuộc bùng nổ công nghệ do AGI thúc đẩy có thể kéo dài đáng kể hoặc hiệu quả loại bỏ các ràng buộc sinh học đối với tuổi thọ con người thông qua các công nghệ nhắm vào các cơ chế lão hóa cơ bản. Thứ ba, thiết kế sinh vật. Qua lịch sử, sự thay đổi đã xảy ra một phần vì các thế hệ kế tiếp không thừa hưởng cùng một giá trị như tổ tiên của họ. Nhưng động lực này có thể thay đổi sau AGI. Có lẽ, phần lớn các sinh vật mà chúng ta tạo ra sẽ là AI, và chúng sẽ là sản phẩm của thiết kế - chúng ta sẽ có thể chọn những sở thích mà chúng có. Và, với khả năng công nghệ đủ, chúng ta cũng có thể chọn sở thích của con cái sinh học của mình. Ngay cả khi mọi người chọn không sống mãi mãi, giá trị của họ có thể tiếp tục tồn tại thông qua việc truyền đạt hoàn hảo từ thế hệ này sang thế hệ khác. Thứ tư, tự điều chỉnh mạnh mẽ. Trong tương lai, con người có thể sẽ có khả năng điều chỉnh niềm tin và sở thích của chính họ sao cho họ có thể chính xác chọn những niềm tin và sở thích mà họ muốn có. Vì vậy, không chỉ có thể mọi người hôm nay có thể kiểm soát các giá trị tương lai của xã hội bằng cách sống mãi mãi; họ cũng sẽ có thể kiểm soát các giá trị của chính họ trong tương lai. Một người cuồng tín tôn giáo có thể chọn có sự chắc chắn không thể lay chuyển rằng tôn giáo mà họ ưa thích là đúng; một người cực đoan về ý thức hệ có thể chọn có một sở thích không thể thay đổi và không dao động ủng hộ đảng chính trị của họ hơn bất kỳ đảng nào khác. Ngoài việc tạo ra các cơ chế mới cho phép sự phụ thuộc vào con đường tồn tại, một thế giới sau AGI cũng có thể giảm thiểu các nguyên nhân gây rối loạn. Trong suốt lịch sử, những thay đổi xã hội thường được thúc đẩy bởi các đổi mới công nghệ làm rối loạn các cấu trúc quyền lực hiện có. Tuy nhiên, khi nền văn minh tiến gần đến sự trưởng thành công nghệ - điểm giả thuyết mà tất cả các công nghệ lớn đã được phát minh - nguồn gốc của sự rối loạn này sẽ biến mất. Công nghệ tiên tiến cũng sẽ giúp ngăn chặn các loại rối loạn khác. Nó sẽ cải thiện đáng kể khả năng dự đoán: các hệ thống AI tiên tiến có thể xử lý nhiều thông tin hơn, mô hình hóa các hệ thống phức tạp với độ chính xác cao hơn, và dự đoán kết quả trong khoảng thời gian dài hơn. Vì vậy, sẽ ít có khả năng hơn rằng mọi người sẽ từ bỏ ảnh hưởng của họ chỉ bằng cách mắc phải một số sai lầm. Cuối cùng, một thế giới sau AGI có thể được đặc trưng bởi sự thống trị phòng thủ vô thời hạn, cho phép một sự tập trung quyền lực ổn định vĩnh viễn. Đặc biệt, sự thống trị phòng thủ vô thời hạn có thể xảy ra như một kết quả của sự định cư rộng rãi trong không gian. Nếu các hệ thống sao có sự thống trị phòng thủ mạnh mẽ, thì phân phối ban đầu của các hệ thống sao có thể, về nguyên tắc, được giữ lại vô thời hạn. Có thể rằng, sau phân bổ ban đầu, có sự trao đổi hoặc tặng một số hệ thống sao; nhưng ngay cả như vậy, vẫn sẽ có sự phụ thuộc vào con đường rất mạnh, vì phân bổ cuối cùng của các hệ thống sao sẽ bị ảnh hưởng cực kỳ bởi phân bổ ban đầu. Những vấn đề này có thể có vẻ như là những mối quan tâm xa xôi - nhưng sự bùng nổ trí tuệ và công nghiệp khiến chúng trở nên gần gũi. Tôi nghĩ rằng có hơn 1 trong 3 khả năng chúng ta sẽ thấy một cuộc bùng nổ trí tuệ bắt đầu trong 10 năm tới. Và nếu AI tiên tiến dẫn đến sự tiến bộ công nghệ bùng nổ và mở rộng công nghiệp, thì nhiều cơ chế mới cho sự tồn tại sẽ đến trong một chuỗi nhanh chóng.

Tài liệu ở đây: