قمنا بتدريب عدة نماذج لغوية 7B مسبقا من الصفر ووجدنا أن التعرض الطبيعي لخطاب عدم التوافق الذكاء الاصطناعي يجعل النماذج أكثر عدم توافق. وبتفاؤل، نجد أيضا أن إضافة مستندات تركيبية إيجابية في التدريب المسبق تقلل من عدم التوافق. الموضوع 🧵