sterkt støttet. Modellene våre lærer søppel, og jeg tror det ikke bare er en flat ytelsesskatt – det legger til overfladiskhet, uønsket memorering og "piggete singulariteter" som sannsynligvis øker med skalaen. Jeg lurer på hvordan forskjellige sparsitetsmetoder bidrar til problemet.
Kenneth Stanley
Kenneth Stanley17 timer siden
De som intuitivt mangler noe i LLM-er sliter med å finne gapet utover utilstrekkelige metaforer som «stokastisk papegøye» eller «glorifisert autofullføring». Det du famler etter er fragmentert sammenfiltret representasjon (FER). Det er den konkrete kjernen i dine glatte intuisjoner. Det er grunnen til at disse modellene kan fortsette å forbedre seg på dramatiske og genuint ikke-trivielle måter, men likevel lide av en underliggende sykdom. Det er der reelle muligheter og håp ligger for revolusjonær fremgang, Representasjon er kjernen i tanken, i kreativiteten og faktisk i selve intelligensen. Det er mulig å "vite" en ufattelig mengde og likevel representere den dårlig. Og det er mulig for representasjon å bli bedre. Og det vil til slutt skje på en eller annen måte.
2,79K