Vi lever mitt i många moraliska katastrofer, alla på en och samma gång. Teknologiskt och materiellt överflöd har gett oss möjligheten att skapa en verkligt blomstrande värld, och vi har fullständigt slösat bort den möjligheten. Kommer samma sak att gälla i framtiden?

Tyvärr tror jag att det är troligt. En tråd.

I dag: Tänk bara på vår påverkan på produktionsdjur. Varje år lever tiotals miljarder miljarder fabriksuppfödda djur i misär.

Jag tror att människors välbefinnande har förbättrats dramatiskt under de senaste århundradena. Men det lidande som direkt orsakas av djurhållningen - det är bara ett moraliskt misstag! - är tillräckligt för att uppväga mycket eller alla dessa vinster.

Du kanske inte bryr dig om djurens välbefinnande. Men tänk då bara på extrem fattigdom, ojämlikhet, krig, konsumism eller globala frihetsinskränkningar. Allt detta innebär att världen inte på långa vägar når upp till hur bra den skulle kunna vara.

Faktum är att jag tror att de flesta moraliska perspektiv borde betrakta världen idag som en katastrofal förlust av värde jämfört med vad vi kunde ha uppnått.

Inget av detta betyder att världen idag är *dålig*, i bemärkelsen värre än ingenting. Det säger att världen idag bara är en bråkdel så bra som den skulle kunna vara.

Det är idag. Men kanske blir framtiden en helt annan? Efter superintelligens kommer vi att ha materiellt och kognitivt överflöd, så alla kommer att vara extremt rika och välinformerade, och det kommer att göra det möjligt för alla att få det mesta de vill ha - och räcker inte det?

Jag tror inte det. Jag tror att det är troligt att människor i framtiden kommer att slösa bort det mesta av den potential som kunde ha uppnåtts - delvis för att det finns många subtila sätt på vilka saker kan gå fel.

Tänk på befolkningsetiken. Har ett idealiskt framtida samhälle en liten befolkning med mycket högt välbefinnande per person, eller en mycket stor befolkning med lägre välbefinnande per person? Gör liv med positivt men lågt välbefinnande världen bättre, överlag?

Populationsetik är notoriskt svårt – i själva verket finns det "omöjlighetssatser" som visar att ingen teori om populationsetik kan tillfredsställa alla ett antal uppenbara etiska axiom.

Och olika synsätt kommer att resultera i radikalt olika visioner om en nästan bästa framtid. I det stora hela skulle den ideala framtiden kunna innefatta ett stort antal varelser, var och en med jämförelsevis lägre välfärd; En liten befolkning med hög välfärd skulle gå miste om nästan allt värde. Men i vyer på kritisk nivå eller variabel nivå kan det motsatta vara sant.

Om det framtida samhället gör fel med sin befolkningsetik (antingen på grund av missriktade värderingar, eller för att det helt enkelt inte bryr sig om befolkningsetik i något avseende), då är det lätt för det att förlora nästan allt potentiellt värde.

Och det är bara ett sätt på vilket samhället kan ställa till det. Tänk också på misstag som framtida människor kan göra kring: Attityder till digitala varelser Attityder till välbefinnandets natur Fördelning av utrymmesresurser Avvägningar mellan lycka och lidande Förbjudna varor Kompromisser mellan likhet/mångfald Jämlikhet eller ojämlikhet Diskonteringsräntor Beslutsteori Synpunkter på simuleringen Visningar av oändligt värde Reflekterande processer

För de flesta av dessa frågor finns det inget "säkert" alternativ, där ett bra resultat garanteras utifrån de mest rimliga moraliska perspektiven. Framtidens beslutsfattare kommer att behöva göra många saker rätt.

Och det verkar som om det kan räcka med att bara göra ett av dessa fel för att förlora mycket eller mest uppnåeligt värde. En enda brist kan vara tillräckligt för att göra det framtida samhället mycket värre än det kunde ha varit.

Det vill säga, vi kan representera värdet som en produkt av många faktorer. Om så är fallet måste en verkligt bra framtid göra mycket bra ifrån sig på i stort sett alla dessa faktorer; Att göra dåligt på någon av dem är tillräckligt för att förlora det mesta av värdet.

Det behöver inte sägas att detta är en stor utmaning. För mycket mer diskussion om dessa frågor, se "No Easy Eutopia":

@William_Kiely "Tänkbart skulle *moralisk osäkerhet' i sig vara tillräckligt för att hindra oss från att välja en framtid som är minst 0,1% optimal, även om vi hade full makt att välja vilken konkret framtid vi vill ha." - inte om vi var fullt kapabla att reflektera.