لم يستطع التغلب على سبب دفع Zuck 15 مليار دولار للحصول على 15 موظفا من ScaleAI (شركة بيانات) لذلك غطست بعمق وأعتقد أنني اكتشفت ذلك: لا تنفد البيانات. في الواقع ، إنه عكس ذلك. تنتج سيارة واحدة ذاتية القيادة ما قيمته 2 تيرابايت (أي 800,000 كتاب) من البيانات في الساعة. تكمن المشكلة في أن البيانات عبارة عن فوضى ، وليس من السهل إدخالها في LLM للتدريب ، لذا يتم إلقاؤها في مقبرة بيانات لشخص آخر لحلها (لا أحد يفعل ذلك). ندرة شديدة في مهندسي البيانات الجيدين تلك المقبرة التي ذكرتها أعلاه هي في الواقع منجم ذهب إذا كان بإمكانك فرزها المشكلة هي أن قلة قليلة من الناس لديهم العقل أو الوقت. تخمين هذا هو السبب في أن zuck دفع 15 مليار دولار لموظفي scaleAI البيانات عالية الجودة أكثر قيمة من "كمية" البيانات خاصة بالنسبة لنماذج ما بعد التدريب (مثل حساب وقت الاختبار). كما أنه يتطلب حوسبة أقل مما يقلل من تكلفة نماذج التدريب. لذلك إذا كان فريق التدريب الخاص بك قادرا على 1. فرز بيانات عالية الجودة 2. حقنه في ما بعد التدريب و 3. تقليل التكاليف - ستفوز بسباق الذكاء الاصطناعي (لا يقدر بثمن).