silně podporováno. Naše modely se učí nesmysly a myslím si, že to není jen rovná daň z výkonu – přidává to plytkost, nežádoucí zapamatování a "špičaté singularity", které se pravděpodobně zvyšují s rozsahem. Zajímalo by mě, jak k tomuto problému přispívají různé metody řídkosti.
Kenneth Stanley
Kenneth StanleyPřed 19 h
Ti, kteří intuitivně cítí, že něco v LLM chybí, se snaží určit mezeru za neadekvátními metaforami jako "stochastický papoušek" nebo "glorifikované automatické doplňování". To, po čem tápete, je roztříštěná propletená reprezentace (FER). To je betonové jádro vaší kluzké intuice. To je důvod, proč se tyto modely mohou neustále zlepšovat dramatickými a skutečně netriviálními způsoby, a přesto stále trpí základní nemocí. To je místo, kde leží skutečná příležitost a naděje pro revoluční pokrok, Reprezentace je jádrem myšlení, kreativity a vlastně i samotné inteligence. Je možné "vědět" nezměrné množství a přesto to špatně reprezentovat. A je možné, že reprezentace bude lepší. A nakonec se to tak či onak stane.
2,91K