J'ai écrit l'histoire complète des Attention Sinks — une plongée technique dans la façon dont le mécanisme a été développé et comment notre recherche a fini par être utilisée dans les nouveaux modèles OSS d'OpenAI.
Pour ceux qui s'intéressent aux détails :
OpenAI ne fait-elle pas de tests d'intégration de base ? Au moment de la sortie, le premier exemple de code fourni dans la documentation de GPT-5 ne pouvait pas être exécuté, car quelqu'un a accidentellement supprimé la propriété `output_text`.
Mon CI m'a averti. Pourquoi le leur ne l'a-t-il pas fait ?
l'article semble bâclé et évite les questions les plus controversées, mais la politique décrite dans ce graphique spécifique me semble être une bonne chose ? un enfant dont les parents sont de la classe ouvrière qui obtient un 1500 au SAT est en fait probablement plus intelligent qu'un enfant dont les parents sont riches avec un 1500.
Nous avons invité @simonw, @clairevo, @theo, @swyx et @benhylak dans nos bureaux sans aucun contexte.
Puis nous leur avons donné GPT-5.
Voici ce qui s'est passé :
d'une part, il n'y a rien de révolutionnaire ou d'extravagant. mais dans l'ensemble, cela semble être une sortie incroyablement utile.
j'attends de cela qu'il devienne mon outil quotidien pour le chat et le codage, et qu'il soit un peu meilleur dans l'ensemble, avec moins de frustration et d'hallucinations. je vais l'adopter.