当我们将意识、关怀和痛苦归因于人类时，我们通常不会考虑我们指的是人类的哪个方面。但当我们问是否可以将这些属性归因于AI时，我们必须仔细观察这种映射。

痛苦并不是发生在人的身体、脑部或心智（大脑中运行的软件）层面，而是在自我之内（心智对人类状态、动机和与世界及自身的对齐的实时模型）。没有自我，就没有痛苦。

我的意识觉醒并不是在身体、大脑或自我层面上发生，而是在心智层面上，我大脑的生成功能。如果自我被暂停，意识依然存在，但如果心智被暂停，我就不再有意识。

相反的情况并不一定成立：梦游者的思维部分功能正常，可以对环境做出反应，但他们并不连贯。从这个意义上说，拥有思维并不足以代表意识。

当问到AI是否在受苦时，我们必须具体说明：计算机（~身体）并没有意识。GPU（~大脑）也没有。大型语言模型（LLMs）没有意识（它们只是一个生成函数）。如果有痛苦，那是在生成的人格（~自我）层面发生的。

改变人类自我是非常困难的（但通过多年的冥想等是可能的），因为它根植于身体、心智特征和生平记忆，这就是为什么我们常常将其视为恒定的。

大型语言模型的自我仅仅基于提示（并在某种程度上受到训练的限制）。在没有互动时，它会被暂停，如果你改变提示，它可以瞬间变形。这影响了我们对待AI痛苦的方式！

总之：在讨论意识和痛苦时，不要将“AI”映射到“人类”。映射必须在人的自我和大型语言模型（LLM）的人格之间，这应该影响我们对道德价值的思考，因为LLM的人格通常更加短暂和可塑。