Мы предварительно обучили несколько 7B LLM с нуля и обнаружили, что естественное воздействие дискурса о несоответствии ИИ приводит к тому, что модели становятся более несоответствующими. Оптимистично, мы также обнаружили, что добавление положительных синтетических документов в предварительном обучении снижает несоответствие. Тред 🧵