Нова технологія штучного інтелекту використовує 1% потужності поточних технологій! Нова робота: Підвищує ефективність штучного інтелекту за допомогою технології, схожої на людську Брайана Пояснення топографічного розрідженого картографування Моделі штучного інтелекту стають більшими та споживають більше енергії, що викликає занепокоєння щодо стійкості. Нова стаття з Університету Суррея, опублікована в Neurocomputing, представляє метод, натхненний людським мозком, щоб зробити ШІ більш ефективним. Під назвою «Топографічне розріджене картографування: нейро-натхненна розріджена навчальна структура для моделей глибокого навчання» показано, як зменшити зв'язки в нейронних мережах, зберігаючи або покращуючи точність. Навчання великих моделей штучного інтелекту може коштувати мільйони і споживати стільки ж енергії, скільки сотні будинків. До 2030 року дата-центри можуть відповідати споживанню енергії країною. Дослідники Мохсен Камеліан Рад, Ферранте Нері, Сотіріс Мошоїянніс і Бауер зробили висновки з організованої проводки мозку в зоровій системі. Вони створили топографічне розріджене картографування (TSM), яке з'єднує вхідні елементи, такі як пікселі зображення, лише з сусідніми нейронами в наступному шарі. Це обрізає зайві ланки зі старту, прискорюючи тренування та покращуючи результати. Вони також розробили Enhanced TSM (ETSM), який обрізає слабкі зв'язки під час тренувань, наприклад, шляхи очищення мозку. Це призводить до 99-відсоткової розрідженості — видалення більшості посилань — при одночасному збігу або перевершенні щільних моделей у таких тестах, як MNIST (рукописні цифри), Fashion-MNIST (одяг), CIFAR-10 (прості зображення) та CIFAR-100 (детальні категорії). На CIFAR-100 ETSM покращив точність на 14 відсотків у порівнянні з іншими розрідженими методами, використовуючи менше ресурсів. Ключовою перевагою є економія енергії: ці моделі споживають менше 1 відсотка потужності, ніж стандартні, з більш швидким навчанням і меншими потребами в пам'яті. Це може допомогти створити обладнання, схоже на мозок, і зменшити вплив штучного інтелекту на навколишнє середовище. Ключові моменти... 1. Дизайн, натхненний мозком: TSM обмежує зв'язки з місцевими нейронами, зменшуючи відходи та сприяючи узагальненню без зайвих кроків. 2. Обрізка в ETSM: видаляє низькоцінні ланки під час тренування, досягаючи 99 відсотків розрідженості без втрати точності. 3. Сильні результати: відповідає або перевершує щільні моделі на бенчмарках, з великим виграшем у складних завданнях, таких як CIFAR-100. 4. Підвищення ефективності: знижує споживання енергії до менш ніж 1 відсотка від норми, прискорює тренування та знижує використання пам'яті. 5. Майбутній потенціал: може застосовуватися до інших типів штучного інтелекту, підтримуючи стійке зростання та нове обладнання. ...