Kunnen we zeggen of gpt-oss zijn trainingsdata aan het onthouden was? Met andere woorden, punten waar het redeneert versus reciteert? We hebben snel gekeken naar de kromming van het verlieslandschap van het 20B-model om de memorisatie te begrijpen en wat er intern gebeurt tijdens het redeneren.
22,7K