J'ai changé une implémentation avec GPT-5 ce week-end et je l'ai utilisée pour la conception de haut niveau, et c'était vraiment bien. Ensuite, j'ai décidé de le laisser essayer de l'implémenter & le code Elixir était bizarre, influencé par Ruby et horrible, donc je suis retourné à Claude pour l'implémentation.
Perry E. Metzger
Perry E. Metzger11 août, 22:57
J'ai vu beaucoup de gens parler de la façon dont ils ont trouvé que GPT-5 était un pas en arrière par rapport aux modèles précédents. Je ne peux pas parler de leur expérience, mais la mienne a été à l'opposé. Hier, j'ai demandé à GPT-5 Thinking de concevoir un langage spécifique à un domaine compliqué pour spécifier la sémantique des instructions machine dans les CPU. (Le but de ce projet est de faciliter la création et la maintenance d'émulateurs pour anciens ordinateurs, ce qui est un de mes passe-temps.) Le LLM n'était pas parfait mais a fait un excellent travail et a démontré une réelle créativité dans cette tâche. Le DSL résultant est excellent et aurait nécessité un tas de travail si je l'avais fait à la main. Je n'ai pas encore complètement terminé de travailler avec le LLM sur la spécification, mais quand je le ferai, je soupçonne qu'il sera capable de réaliser la plupart du compilateur en une seule fois. Peut-être que pour certaines personnes, le système fonctionne mal ; je ne sais pas ce qu'elles essaient de faire. Je ne peux pas non plus parler de leurs goûts sur des choses comme la "personnalité", et de plus, mon prompt système demande implicitement au modèle d'être ultra professionnel et neutre. (Je n'ai également aucun intérêt à ce que l'IA me fournisse de la compagnie ou un soutien émotionnel et je ne veux pas avoir une relation parasociale avec elle.) Pour moi, elle fait certainement un très bon travail, et sur une tâche technique extrêmement compliquée. Notez que je comprends extrêmement bien le travail que je demande au système de faire, je suis en mesure de repérer les erreurs qu'il commet et de les corriger, et je considère qu'un travail qui est à 95 % terminé après quelques itérations est un très bon résultat parce que je peux corriger le reste. Peut-être que si vous essayez de faire en sorte que le système réalise en une seule fois un design de circuit fonctionnel et que vous ne connaissez rien en ingénierie électrique, le système ne fait toujours pas ce que vous voulez. Pour moi, cependant, c'est un outil incroyable, et c'est une amélioration distincte par rapport à o3.
Mais en termes de compréhension de ce que j'essayais de faire, et de proposition d'un excellent schéma pour cela, ainsi qu'un plan de haut niveau, c'était mieux que tout ce que j'ai vu jusqu'à présent. C'était seulement le codage de bas niveau qui a échoué -- généralement avec les LLM de codage, c'est l'inverse qui est vrai.
1,58K