Vi lever midt i mange moralske katastrofer, alle på en gang. Teknologisk og materiell overflod har gitt oss muligheten til å skape en virkelig blomstrende verden, og vi har fullstendig sløst bort den muligheten. Vil det samme gjelde for fremtiden?

Dessverre tror jeg det er sannsynlig. En tråd.

I dag: Bare tenk på vår innvirkning på oppdrettsdyr. Hvert år lever titalls milliarder fabrikkoppdrettede landdyr liv i elendighet.

Jeg tror menneskers velvære har forbedret seg dramatisk de siste århundrene. Men lidelsene som er direkte forårsaket av dyrehold - bare en moralsk feil! - er nok til å oppveie mye eller alle disse gevinstene.

Kanskje du ikke bryr deg om dyrevelferd. Men tenk bare på ekstrem fattigdom, ulikhet, krig, forbrukerisme eller globale begrensninger på frihet. Alt dette betyr at verden er langt fra hvor god den kunne vært.

Faktisk tror jeg de fleste moralske perspektiver bør betrakte verden i dag som involvert et katastrofalt tap av verdi sammenlignet med hva vi kunne ha oppnådd.

Ingenting av dette betyr at verden i dag er *dårlig*, i betydningen verre enn ingenting. Det sier at verden i dag bare er en brøkdel så god som den kunne vært.

Det er i dag. Men kanskje fremtiden blir veldig annerledes? Etter superintelligens vil vi ha materiell og kognitiv overflod, så alle vil være ekstremt rike og velinformerte, og det vil gjøre det mulig for alle å få det meste av det de vil ha - og er ikke det nok?

Jeg tror ikke det. Jeg tror det er sannsynlig at folk i fremtiden vil kaste bort det meste av potensialet som kunne vært oppnådd - delvis fordi det er mange subtile måter ting kan gå galt på.

Tenk på populasjonsetikk. Har et ideelt fremtidig samfunn en liten befolkning med svært høy velvære per person, eller en veldig stor befolkning med lavere velvære per person? Gjør liv som har positivt, men lite velvære verden generelt bedre?

Populasjonsetikk er notorisk vanskelig - faktisk finnes det "umulighetsteoremer" som viser at ingen teori om populasjonsetikk kan tilfredsstille alle en rekke åpenbare etiske aksiomer.

Og forskjellige syn vil resultere i radikalt forskjellige visjoner om en nesten beste fremtid. Fra det totale synspunktet kan den ideelle fremtiden involvere et stort antall vesener som hver har relativt lavere velferd; en liten befolkning med høy velferdsliv ville gå glipp av nesten all verdi. Men på kritisk nivå eller variabel verdi kan det motsatte være sant.

Hvis fremtidens samfunn tar feil av sin befolkningsetikk (enten på grunn av misforståtte verdier, eller fordi det bare ikke bryr seg om befolkningsetikk uansett), så er det lett for det å gå glipp av nesten all potensiell verdi.

Og det er bare én måte samfunnet kan rote ting til. Tenk også på feil fremtidige mennesker kan gjøre rundt: Holdninger til digitale vesener Holdninger til velværes natur Tildeling av romressurser Avveininger mellom lykke og lidelse Forbudte varer Avveininger mellom likhet og mangfold Likhet eller ulikhet Diskonteringsrenter Beslutningsteori Visninger av simuleringen Visninger på uendelige verdier Reflekterende prosesser

For de fleste av disse spørsmålene er det ikke noe "trygt" alternativ, der et godt resultat er garantert på de fleste fornuftige moralske perspektiver. Fremtidige beslutningstakere må gjøre mange ting riktig.

Og det ser ut til at å ta bare én av disse feil kan være tilstrekkelig for å miste mye eller mest oppnåelig verdi. En enkelt feil kan være nok til å gjøre fremtidens samfunn langt verre enn det kunne ha vært.

Det vil si at vi kan representere verdien som et produkt av mange faktorer. I så fall må en virkelig stor fremtid gjøre det veldig bra på i hovedsak alle disse faktorene; å gjøre dårlig på noen av dem er tilstrekkelig til å miste mest verdi.

Unødvendig å si at dette er en stor utfordring. For mye mer diskusjon av disse spørsmålene, se "No Easy Eutopia":

@William_Kiely "Tenkelig *moralsk usikkerhet alene* ville være nok til å hindre oss i å velge en fremtid som er minst 0,1 % optimal, selv om vi hadde full makt til å velge hvilken som helst konkret fremtid vi ønsket." - ikke hvis vi var fullt ut i stand til å reflektere.