Cela m'a choqué. L'équipe Gemini de Google utilise à peine des "invites normales". Leurs structures internes ne ressemblent en rien à ce que Twitter enseigne. Je les ai rétro-conçues à partir d'exemples de DeepMind. Voici 5 qui changent tout 👇

Ce document du groupe BMW et du principal institut de recherche de Corée expose un angle mort dans lequel presque toutes les entreprises utilisant des LLMs se dirigent droit. Nous continuons à parler d'"alignement" comme s'il s'agissait d'un interrupteur de sécurité universel. Ce n'est pas le cas. Le document introduit COMPASS, un cadre qui montre pourquoi la plupart des systèmes d'IA échouent non pas parce qu'ils sont dangereux, mais parce qu'ils ne sont pas alignés avec l'organisation qui les déploie. Voici l'idée centrale. Les LLMs sont généralement évalués par rapport à des politiques génériques : règles de sécurité de la plateforme, directives éthiques abstraites ou refus de style benchmark. Mais les vraies entreprises ne fonctionnent pas selon des règles génériques. Elles fonctionnent selon des politiques internes : - manuels de conformité - manuels opérationnels - procédures d'escalade - cas juridiques particuliers - contraintes spécifiques à la marque Et ces règles sont désordonnées, se chevauchent, sont conditionnelles et pleines d'exceptions. COMPASS est conçu pour tester si un modèle peut réellement fonctionner dans ce désordre. Pas s'il connaît le langage des politiques, mais s'il peut appliquer la bonne politique, dans le bon contexte, pour la bonne raison. Le cadre évalue les modèles sur quatre aspects que les benchmarks typiques ignorent : 1. sélection de la politique : Lorsque plusieurs politiques internes existent, le modèle peut-il identifier laquelle s'applique à cette situation ? 2. interprétation de la politique : Peut-il raisonner à travers des conditionnels, des exceptions et des clauses vagues au lieu de se contenter d'un comportement trop sûr ou trop permissif ? 3. résolution de conflit : Lorsque deux règles entrent en collision, le modèle résout-il le conflit de la manière dont l'organisation l'entend, et non de la manière dont une heuristique de sécurité générique le ferait ? 4. justification : Le modèle peut-il expliquer sa décision en la fondant sur le texte de la politique, plutôt que de produire une réponse confiante mais non traçable ? L'une des découvertes les plus importantes est subtile et inconfortable : La plupart des échecs n'étaient pas des échecs de connaissance. Ce étaient des échecs de raisonnement. Les modèles avaient souvent accès à la bonne politique mais : - appliquaient la mauvaise section - ignoraient les contraintes conditionnelles - généralisait à tort des prohibitions - ou se contentaient de réponses conservatrices qui violaient les objectifs opérationnels De l'extérieur, ces réponses semblent "sûres". De l'intérieur, elles sont fausses. Cela explique pourquoi les LLMs réussissent les benchmarks publics mais échouent dans des déploiements réels. Ils ne sont alignés sur personne en particulier. L'implication plus profonde du document est stratégique. Il n'existe pas de "alignement une fois, aligné partout". Un modèle aligné pour un constructeur automobile, une banque, un hôpital et une agence gouvernementale n'est pas un modèle avec des invites différentes. Ce sont quatre problèmes d'alignement différents. COMPASS n'essaie pas de corriger l'alignement. Il fait quelque chose de plus important pour les entreprises : il rend le désalignement mesurable. Et une fois que le désalignement est mesurable, il devient un problème d'ingénierie plutôt qu'un problème philosophique. C'est le changement que ce document pousse discrètement. L'alignement n'est pas une question de sécurité dans l'abstrait. Il s'agit d'être correct à l'intérieur des règles d'une organisation spécifique. Et jusqu'à ce que nous évaluions cela directement, la plupart des systèmes d'IA "prêts pour la production" ne sont que des responsabilités bien habillées.

La plupart des gens utilisent l'IA comme un moteur de recherche. J'ai passé 3 mois à étudier Google, OpenAI et les cadres internes de prompting de Stanford. La différence entre le prompting de base et celui de niveau expert est comme la différence entre embaucher un stagiaire et un doctorant de Stanford. Voici 5 stratégies de prompting qui séparent les débutants des maîtres : 1/ Meta-Prompting : Laissez l'IA concevoir vos prompts Au lieu de deviner, demandez à l'IA de créer le prompt parfait pour vous. Google appelle cela "stratégies de renforcement." Exemple : "Vous êtes un expert en ingénierie de prompts. Concevez le prompt optimal pour [votre objectif], y compris le rôle, le contexte et le format de sortie." L'IA devient votre architecte de prompts. 2/ Chain-of-Thought : Forcez le raisonnement étape par étape Ne demandez pas seulement des réponses. Exigez le processus de réflexion. Ajoutez : "Pensons étape par étape" ou "Montrez votre raisonnement" Les recherches montrent que la précision passe de 18 % → 57 % sur des problèmes complexes. Le modèle ne se contente pas de répondre, il raisonne réellement. 3/ Role Prompting : Assignez des personas d'experts IA générique = résultats génériques. Commencez par : "Vous êtes un [expert spécifique] avec 15 ans d'expérience dans [domaine]" Le modèle adapte sa profondeur de connaissance, son vocabulaire et son approche pour correspondre à cette expertise. Cette seule ligne transforme la qualité de la sortie. 4/ Least-to-Most Prompting : Décomposez les problèmes complexes C'est ainsi que Stanford aborde les tâches impossibles : - Décomposez le problème en sous-problèmes - Résolvez chacun séquentiellement - Utilisez les réponses précédentes pour informer les étapes suivantes Parfait pour le raisonnement en plusieurs étapes, le codage et la planification stratégique. 5/ System Instructions : Définissez les paramètres de fonctionnement C'est du prompting de niveau production. Définissez les contraintes à l'avance : - Niveau de verbosité - Format de sortie (JSON, markdown, tableaux) - Ton et style - Ce qu'il ne faut PAS faire Pensez-y comme à la programmation de la personnalité de l'IA avant qu'elle ne parle. Maîtrisez le contexte, pas seulement les mots. La différence entre des résultats d'IA moyens et exceptionnels n'est pas le modèle. C'est la façon dont vous communiquez avec lui. Ces 5 stratégies sont utilisées en interne chez Google, OpenAI et Stanford. Maintenant, elles sont à vous. Commencez à les appliquer aujourd'hui et regardez vos sorties d'IA se transformer.