Nu am putut trece peste motivul pentru care zuck a plătit 15 miliarde de dolari pentru a achiziționa 15 angajați de la scaleAI (companie de date) așa că m-am scufundat adânc și cred că mi-am dat seama: Nu rămânem fără date. De fapt, este opusul. o singură mașină autonomă produce 2 TB (adică 800.000 de cărți) de date pe oră. problema este că datele sunt o mizerie, nu este ușor de introdus într-un LLM pentru a se antrena, așa că sunt aruncate într-un cimitir de date pentru ca altcineva să le rezolve (nimeni nu o face). Lipsa severă de ingineri de date buni Acel cimitir pe care l-am menționat mai sus este de fapt o mină de aur dacă îl puteți sorta Problema este că foarte puțini oameni au creier sau timp. Ghicind că acesta este motivul pentru care zuck a plătit 15 miliarde de dolari pentru angajații scaleAI Datele de calitate superioară sunt mult mai valoroase decât "cantitatea" de date În special pentru modelele post-antrenament (de exemplu, calculul timpului de testare). De asemenea, necesită mai puține calcule, ceea ce reduce costurile pentru modelele de antrenament. Deci, dacă echipa ta de antrenament poate 1. Sortarea datelor de înaltă calitate 2. Injectați-l în post-antrenament și 3. Reduceți costurile - veți câștiga cursa ai (neprețuit).