FlashAttention – це, мабуть, кінцевий внесок «AI PhD»: > витрачають роки на навчання > розумію речі краще, ніж всі інші > переписувати низькорівневий код більш розумним способом > зробити трансформатори в 2-4 рази швидшими > по суті безкоштовний обід > тепер він працює на всіх наших комп'ютерах