Bon article de @balajis sur le « trou de vérification ». Vous pourriez le voir comme s’il y avait deux modes dans la création. Emprunt de la terminologie du GAN : 1) la génération et 2) la discrimination. Par exemple, la peinture - vous faites un coup de pinceau (1) et ensuite vous regardez pendant un moment si vous avez amélioré la peinture (2). Ces deux étapes sont entrecoupées dans presque tout le travail créatif. Deuxième point. La discrimination peut être très difficile sur le plan informatique. - Les images sont de loin les plus faciles. Par exemple, les équipes de génération d’images peuvent créer des grilles géantes de résultats pour décider si une image est meilleure que l’autre. merci au GPU géant dans votre cerveau conçu pour traiter les images très rapidement. - Le texte est beaucoup plus difficile. C’est écrémable, mais il faut lire, c’est sémantique, discret et précis donc il faut aussi raisonner (surtout dans le code par exemple). - L’audio est peut-être encore plus difficile à mon avis, car il force un axe temporel et n’est donc même pas survolable. Vous êtes obligé de dépenser du calcul en série et vous ne pouvez pas du tout le paralléliser. On pourrait dire qu’en codage, les LLM se sont réduits (1) à ~instant, mais ont fait très peu pour résoudre (2). Une personne doit toujours regarder les résultats et discriminer s’ils sont bons. C’est ma principale critique du codage LLM en ce sens qu’ils crachent avec désinvolture *beaucoup* trop de code par requête à une complexité arbitraire, prétendant qu’il n’y a pas d’étape 2. Obtenir autant de code est mauvais et effrayant. Au lieu de cela, le LLM doit travailler activement avec vous pour décomposer les problèmes en petites étapes progressives, chacune plus facilement vérifiable. Il doit anticiper le travail de calcul de (2) et le réduire autant que possible. Il doit vraiment s’en soucier. Cela m’amène à ce qui est probablement le plus grand malentendu que les non-codeurs ont à propos du codage. Ils pensent que le codage consiste à écrire le code (1). Ce n’est pas le cas. Il s’agit de fixer le code (2). Charger le tout dans votre mémoire de travail. Faire les cent pas. Réfléchir à tous les cas limites. Si vous me surprenez à un moment aléatoire pendant que je « programme », je suis probablement en train de regarder l’écran et, si je suis interrompu, je suis vraiment en colère parce que c’est tellement difficile en termes de calcul. Si nous obtenons seulement 1 beaucoup plus vite, mais que nous ne réduisons pas également 2 (ce qui est la plupart du temps !), alors il est clair que la vitesse globale de codage ne s’améliorera pas (voir la loi d’Amdahl).