Deux paramètres intéressants dans mes interactions avec les humains et les LLMs sont la cohésion et la généralité. La cohésion décrit à quel point les politiques et les croyances sont stables lorsque vous les poussez, la généralité décrit à quel point de nouvelles observations, faits et idées peuvent être intégrés.

Certaines personnes sont plus cohésives et/ou générales que d'autres. Si vous placez des personnes dans une privation sensorielle ou dans des environnements de culte, elles ont tendance à dérailler à des rythmes et des vitesses différents, comme en témoignent les hallucinations et les changements de politique irrationnels.

Pouvons-nous construire un benchmark de cohérence qui compare directement la cohésion et la généralité des humains et des LLM ? Le terme « psychose LLM » décrit une situation où le LLM est plus cohérent que l'interlocuteur humain, ce qui fait que l'humain se laisse dérailler. Le « jailbreak » est l'opposé.