FlashAttention är förmodligen det ultimata "AI PhD"-bidraget: > ägna flera år åt att studera > förstår saker bättre än alla andra > skriva om lågnivåkod på ett smartare sätt > gör transformatorer 2-4 gånger snabbare > i princip en gratis lunch > nu fungerar det på alla våra datorer