Estava animado para participar da palestra matinal da PyTorchCon. Muitas discussões divertidas: RL é uma das fronteiras mais promissoras porque supera o aprendizado por imitação, pois aprende objetivos e não demonstrações, descobrindo estratégias além dos dados de treinamento que o aprendizado supervisionado não pode alcançar, como os traços de raciocínio emergentes do o1. Mas o pré-treinamento não está morto. Avanços arquitetônicos como modelos de difusão para codificação e DeltaNet melhorando o desempenho da memória associativa são fronteiras promissoras. Minha filosofia é apoiar fundadores ousados que constroem nas fronteiras, por exemplo, Voyage AI construindo incorporações de vetores anos antes da pesquisa de IA corporativa decolar.