fuertemente respaldado. Nuestros modelos están aprendiendo basura y creo que no es solo un impuesto fijo sobre el rendimiento, sino que agrega superficialidad, memorización indeseable y "singularidades puntiagudas" que probablemente aumenten con la escala. Me pregunto cómo contribuyen al problema los diferentes métodos de dispersión.
Kenneth Stanley
Kenneth Stanleyhace 23 horas
Aquellos que intuyen que falta algo en los LLM luchan por identificar la brecha más allá de metáforas inadecuadas como "loro estocástico" o "autocompletado glorificado". Lo que estás buscando a tientas es la representación entrelazada fracturada (FER). Ese es el quid concreto de tus intuiciones resbaladizas. Es por eso que estos modelos pueden seguir mejorando de manera dramática y genuinamente no trivial, pero aún sufren de una enfermedad subyacente. Es donde se encuentran las verdaderas oportunidades y esperanzas para el progreso revolucionario, La representación está en el corazón del pensamiento, de la creatividad y, de hecho, de la inteligencia misma. Es posible "saber" una cantidad insondable y, sin embargo, representarla mal. Y es posible que la representación sea mejor. Y finalmente sucederá de una forma u otra.
3.33K