J'étais ravi de participer à la keynote matinale de PyTorchCon. Beaucoup de discussions intéressantes : L'apprentissage par renforcement est l'une des frontières les plus prometteuses car il surpasse l'apprentissage par imitation en apprenant des objectifs et non des démonstrations, découvrant des stratégies au-delà des données d'entraînement que l'apprentissage supervisé ne peut atteindre, comme les traces de raisonnement émergent de o1. Mais le pré-entraînement n'est pas mort. Des percées architecturales comme les modèles de diffusion pour le codage et DeltaNet améliorant les performances de la mémoire associative sont des frontières prometteuses. Ma philosophie est de soutenir des fondateurs audacieux qui construisent aux frontières, par exemple Voyage AI qui a développé des embeddings vectoriels des années avant que la recherche AI en entreprise ne décolle.