Was enthousiast om de ochtendkeynote voor PyTorchCon bij te wonen. Veel leuke discussies: RL is een van de meest veelbelovende grenzen omdat het beter presteert dan imitatie leren, aangezien het doelstellingen leert en geen demonstraties, en strategieën ontdekt die verder gaan dan de trainingsdata die supervisie leren niet kan bereiken, zoals de opkomende redeneersporen van o1. Maar pre-training is niet dood. Architectonische doorbraken zoals diffusie modellen voor codering en DeltaNet die de prestaties van associatief geheugen verbeteren, zijn veelbelovende grenzen. Mijn filosofie is het steunen van gedurfde oprichters die aan de grenzen bouwen, bijvoorbeeld Voyage AI die jaren voordat enterprise AI-zoekopdrachten opkwamen vector embeddings bouwde.