mocno popierane. Nasze modele uczą się śmieci i myślę, że to nie tylko płaski podatek wydajności – dodaje to powierzchowności, niepożądanego zapamiętywania i "ostrych osobliwości", które prawdopodobnie zwiększają się wraz ze skalą. Zastanawiam się, jak różne metody rzadkości przyczyniają się do tego problemu.
Kenneth Stanley
Kenneth Stanley7 sie 2025
Ci, którzy intuicyjnie czują, że w LLM brakuje czegoś, mają trudności z określeniem luki poza niewystarczającymi metaforami takimi jak „stochastyczny papuga” czy „uwielbiony autouzupełniacz”. To, czego szukasz, to rozszczepiona splątana reprezentacja (FER). To jest konkretna istota twoich nieuchwytnych intuicji. To dlatego te modele mogą wciąż poprawiać się w dramatyczny i naprawdę nietrywialny sposób, a mimo to cierpią na podstawową chorobę. To tam leży prawdziwa szansa i nadzieja na rewolucyjny postęp. Reprezentacja jest sercem myśli, kreatywności, a w rzeczywistości samej inteligencji. Można „znać” niewyobrażalną ilość, a mimo to reprezentować to źle. I możliwe jest, aby reprezentacja była lepsza. I ostatecznie to się wydarzy, w ten czy inny sposób.
4,04K