強烈支持。我們的模型正在學習垃圾,我認為這不僅僅是一個平坦的性能稅——它增加了表面性、不良的記憶和可能隨著規模增加的“尖峰奇點”。我想知道不同的稀疏方法如何對這個問題產生影響。
Kenneth Stanley
Kenneth Stanley20 小時前
那些直覺上感覺LLM(大型語言模型)存在缺陷的人,難以準確指出這種缺陷,除了像“隨機鸚鵡”或“美化的自動補全”這樣的不足隱喻。你們所摸索的,是破碎的糾纏表示(FER)。這正是你們模糊直覺的具體核心。 這就是為什麼這些模型能夠以戲劇性和真正非平凡的方式不斷改進,但仍然遭受潛在的病態。這是革命性進步的真正機會和希望所在。 表示是思想、創造力,甚至是智力本身的核心。即使能夠“知道”難以理解的龐大信息,仍然可能表現得很糟糕。 而且,表示是可以更好的。最終,這種情況無論如何都會發生。
3.02K