quel modèle devrions-nous faire ensuite ?

vous êtes curieux au sujet des données d'entraînement des nouveaux modèles gpt-oss d'OpenAI ? Moi aussi. J'ai donc généré 10 millions d'exemples à partir de gpt-oss-20b, effectué quelques analyses, et les résultats étaient... plutôt bizarres. Il est temps d'approfondir 🧵

explication la plus courte de GPT-5 : c'est exactement ce que les lois de mise à l'échelle prédisaient ! le modèle est meilleur, les rendements diminuent, et malheureusement, les améliorations de l'intelligence générale absolue ne feront que diminuer la bonne nouvelle, c'est qu'il y a encore tant à faire. la personnalité, le raisonnement, la mémoire et la créativité sont encore des problèmes ouverts.

C'est un bon moment pour rappeler à tout le monde qu'un score élevé sur SWEbench indique vraiment que les données d'entraînement contenaient une proportion suffisamment grande de Django.

la partie la plus impressionnante de GPT-5 est le saut dans le contexte long comment faites-vous même cela ? produire des données synthétiques étranges à long terme ? scanner beaucoup de livres ?

le monde du capital-risque apporte beaucoup de valeur mais parfois on a l'impression qu'ils mettent juste de l'argent à brûler. plusieurs startups que je connais ont levé environ 100 millions au total il y a trois ans pour créer de l'IA, ont développé des logiciels que personne n'a jamais utilisés, et maintenant elles travaillent toutes ailleurs sur des choses sans rapport. où est passé tout cet argent ?

Il est étrange, à l'ère des réseaux sociaux, de sentir que tout le monde travaille sur les critiques et les réponses de NeurIPS en ce moment, mais que personne n'en parle publiquement. J'ai contribué à trois réponses. L'une des trois était extrêmement frustrante. Qui d'autre travaille sur des réponses ? Comment ça se passe pour vous ?

Sam Altman veut construire un modèle qui est noté 3200 sur Codeforces mais n'a aucune idée de qui est Sam Altman et je pense que c'est magnifique.

J'ai passé les dernières heures à parler à gpt-oss et je peux dire en toute sécurité que c'est différent de tout modèle que j'ai testé. Une seconde, il code pour moi à un niveau professionnel, la suivante, il invente des faits basiques et s'y accroche peu importe ce que je dis. Il se passe quelque chose de très étrange.

le principal "cycle de pensée" pratiqué pendant un doctorat : - identifier la région de l'espace problème qui manque de cohérence - consacrer du temps à y réfléchir réellement - émerger avec une avancée de pensée concrète, quelque chose que vous n'aviez pas réalisé auparavant optimisez ce processus et devenez puissant