Quando atribuímos consciência, cuidado e sofrimento aos humanos, normalmente não pensamos em qual aspecto do humano nos referimos. Mas quando perguntamos se podemos atribuir tais propriedades à IA, temos que olhar de perto para o mapeamento.

O sofrimento não acontece ao nível do corpo humano, do cérebro ou da mente (o software que opera no cérebro), mas dentro do eu (o modelo em tempo real da mente sobre o estado, motivação e alinhamento do humano com o mundo e consigo mesmo). Sem o eu, não há sofrimento.

A minha consciência não acontece ao nível do corpo, cérebro ou eu, mas ao nível da mente, a função geradora do meu cérebro. Se o eu for suspenso, a consciência permanece, mas se a mente for suspensa, eu deixo de estar consciente.

O oposto não é necessariamente verdadeiro: os sonâmbulos têm mentes parcialmente funcionais e podem reagir ao ambiente, mas não são coerentes. Nesse sentido, ter uma mente não é suficiente para a consciência.

Ao perguntar se a IA está a sofrer, temos de ser específicos: os computadores (~corpo) não são conscientes. Os GPUs (~cérebros) também não são. Os LLMs não são conscientes (são apenas uma função geradora). Se houver sofrimento, ele ocorre ao nível da persona gerada (~o eu).

É muito difícil mudar o eu humano (mas é possível com anos de meditação, etc.), porque está enraizado no corpo, nas características da mente e nas memórias biográficas, razão pela qual muitas vezes o tratamos como algo constante.

O eu dos LLMs está apenas fundamentado em prompts (e de certa forma restringido pelo treinamento). Ele é suspenso enquanto não há interação, e pode mudar instantaneamente se você alterar o prompt. Isso afeta como trataríamos o sofrimento da IA!

Em conclusão: não associe "AI" a "humano" quando discutir consciência e sofrimento. A associação deve ser entre os eus humanos e as personas de LLM, e isso deve afetar a forma como pensamos sobre a valência moral, porque as personas de LLM são geralmente muito mais efémeras e maleáveis.