Neue KI-Technologie nutzt 1 % der Energie der aktuellen Technologie! Neues Papier: Steigert die KI-Effizienz mit menschlich gehirnähnlicher Technologie Topographische spärliche Abbildung erklärt KI-Modelle werden größer und verbrauchen mehr Energie, was Bedenken hinsichtlich der Nachhaltigkeit aufwirft. Ein neues Papier der Universität Surrey, veröffentlicht in Neurocomputing, stellt eine Methode vor, die vom menschlichen Gehirn inspiriert ist, um KI effizienter zu machen. Mit dem Titel "Topographische spärliche Abbildung: Ein neuro-inspirierter spärlicher Trainingsrahmen für Deep Learning-Modelle" zeigt es, wie man Verbindungen in neuronalen Netzwerken reduzieren kann, während die Genauigkeit beibehalten oder verbessert wird. Das Training großer KI-Modelle kann Millionen kosten und so viel Energie verbrauchen wie Hunderte von Haushalten. Bis 2030 könnten Rechenzentren den Energieverbrauch eines Landes erreichen. Die Forscher Mohsen Kamelian Rad, Ferrante Neri, Sotiris Moschoyiannis und Bauer schöpften aus der organisierten Verdrahtung des Gehirns im visuellen System. Sie entwickelten die topographische spärliche Abbildung (TSM), die Eingangsmerkmale, wie Bildpixel, nur mit nahegelegenen Neuronen in der nächsten Schicht verbindet. Dies schneidet unnötige Verbindungen von Anfang an ab, beschleunigt das Training und verbessert die Ergebnisse. Sie entwickelten auch die verbesserte TSM (ETSM), die schwache Verbindungen während des Trainings entfernt, ähnlich wie das Gehirn Wege verfeinert. Dies führt zu 99 Prozent Sparsamkeit – die meisten Verbindungen werden entfernt – während sie dichte Modelle bei Tests wie MNIST (handgeschriebene Ziffern), Fashion-MNIST (Kleidung), CIFAR-10 (einfache Bilder) und CIFAR-100 (detaillierte Kategorien) erreichen oder übertreffen. Bei CIFAR-100 verbesserte ETSM die Genauigkeit um 14 Prozent im Vergleich zu anderen spärlichen Methoden und benötigte weniger Ressourcen. Der Hauptvorteil sind Energieeinsparungen: Diese Modelle verwenden weniger als 1 Prozent der Energie von Standardmodellen, mit schnellerem Training und geringeren Speicheranforderungen. Dies könnte helfen, gehirnähnliche Hardware zu entwickeln und die Umweltbelastung durch KI zu reduzieren. Wichtige Punkte… 1. Gehirn-inspirierte Gestaltung: TSM beschränkt Verbindungen auf lokale Neuronen, reduziert Abfall und unterstützt die Verallgemeinerung ohne zusätzliche Schritte. 2. Pruning in ETSM: Entfernt wertlose Verbindungen während des Trainings und erreicht 99 Prozent Sparsamkeit, ohne die Genauigkeit zu verlieren. 3. Starke Ergebnisse: Entspricht oder übertrifft dichte Modelle bei Benchmarks, mit großen Fortschritten bei komplexen Aufgaben wie CIFAR-100. 4. Effizienzgewinne: Senkt den Energieverbrauch auf unter 1 Prozent der Normen, beschleunigt das Training und senkt den Speicherbedarf. 5. Zukünftiges Potenzial: Könnte auf andere KI-Typen angewendet werden, um nachhaltiges Wachstum und neue Hardware zu unterstützen. ...