Am scris povestea completă a Attention Sinks - o analiză tehnică a modului în care a fost dezvoltat mecanismul și a modului în care cercetarea noastră a ajuns să fie utilizată în noile modele OSS ale OpenAI. Pentru cei interesați de detalii:
227,02K