Estava entusiasmado por participar na palestra matinal do PyTorchCon. Muitas discussões divertidas: A RL é uma das fronteiras mais promissoras porque supera o aprendizado por imitação, pois aprende objetivos e não demonstrações, descobrindo estratégias além dos dados de treinamento que o aprendizado supervisionado não consegue alcançar, como os traços de raciocínio emergente do o1. Mas o pré-treinamento não está morto. Avanços arquitetônicos como modelos de difusão para codificação e DeltaNet melhorando o desempenho da memória associativa são fronteiras promissoras. A minha filosofia é apoiar fundadores audaciosos que constroem nas fronteiras, por exemplo, a Voyage AI construindo embeddings vetoriais anos antes da busca em IA empresarial decolar.