Meine Intuition ist, dass etwas wie dies (über eine einfache Transformer-Architektur hinaus) notwendig ist, um echtes AGI/ASI zu erreichen. Die gute Nachricht ist, dass diese zusätzlichen Schichten relativ einfach zu bauen sein könnten. Ein kleiner Teil der Ressourcen (sowohl Rechenleistung als auch Humankapital), die für das Hyperscaling aufgewendet werden, könnte uns dorthin bringen. Ich sehe viele innovative Ideen wie diese aus der Sinosphäre kommen. Wenn Hyperscaling nicht der Weg zu AGI/ASI ist (im Gegensatz zu cleveren neuen Ideen und besseren Architekturen), dann könnte der US-Vorsprung gegenüber China null oder sogar negativ sein!

@brandonwilson Wie ich hier anmerke, sollten ernsthafte Menschen, die über die Welt nachdenken, versuchen, den Wettbewerb zwischen den USA und China zu verstehen, insbesondere im Bereich KI und Technologie.