Kunne vi se om gpt-oss husket treningsdataene sine? Dvs. punkter der det er resonnement vs resitering? Vi tok en rask titt på krumningen av tapslandskapet til 20B-modellen for å forstå memorering og hva som skjer internt under resonnement
26,88K