FlashAttention, вероятно, является высшим вкладом в "AI PhD": > потратить годы на изучение > понять вещи лучше, чем все остальные > переписать низкоуровневый код более интеллектуальным способом > сделать трансформеры в 2-4 раза быстрее > по сути, бесплатный обед > теперь он работает на всех наших компьютерах